Как защитить ребенка от отца, который редко общается и может навредить ему высказываниями?

Уклонение от выполнения обязанностей родителей является основанием для лишения родительских прав, но в вашем случае оно вряд ли имеет место, судя по вашему рассказу. Лишение родительских прав - крайняя мера.

Статья 69 СК РФ. Лишение родительских прав

Родители (один из них) могут быть лишены родительских прав, если они:

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;

отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;

злоупотребляют своими родительскими правами;

жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;

являются больными хроническим алкоголизмом или наркоманией;

совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.

Постановление Пленума Верховного Суда РФ от 14.11.2017 N 44 "О практике применения судами законодательства при разрешении споров, связанных с защитой прав и законных интересов ребенка при непосредственной угрозе его жизни или здоровью, а также при ограничении или лишении родительских прав"

16. В соответствии со статьей 69 СК РФ родители (один из них) могут быть лишены судом родительских прав, если они:

а) уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов.

Уклонение родителей от выполнения своих обязанностей по воспитанию детей может выражаться в отсутствии заботы об их здоровье, о физическом, психическом, духовном и нравственном развитии, обучении.

Разрешая вопрос о том, имеет ли место злостное уклонение родителя от уплаты алиментов, необходимо, в частности, учитывать продолжительность и причины неуплаты родителем средств на содержание ребенка.

О злостном характере уклонения от уплаты алиментов могут свидетельствовать, например, наличие задолженности по алиментам, образовавшейся по вине плательщика алиментов, уплачиваемых им на основании нотариально удостоверенного соглашения об уплате алиментов или судебного постановления о взыскании алиментов; сокрытие им действительного размера заработка и (или) иного дохода, из которых должно производиться удержание алиментов; розыск родителя, обязанного выплачивать алименты, ввиду сокрытия им своего места нахождения; привлечение родителя к административной или уголовной ответственности за неуплату средств на содержание несовершеннолетнего (часть 1 статьи 5.35.1 Кодекса Российской Федерации об административных правонарушениях, часть 1 статьи 157 Уголовного кодекса Российской Федерации);