Он почти не обращал на сына внимания когда жили вместе, а сейчас хочет силой забирать его когда захочет.

Максим, в соответствии со ст. 69 Семейного кодекса РФ

Родители (один из них) могут быть лишены родительских прав, если они:

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;

отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;

злоупотребляют своими родительскими правами;

жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;

являются больными хроническим алкоголизмом или наркоманией;

совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.

Однако основания необходимо доказать. Нужно исследовать ситуацию - что можно предпринять в Вашем случае.

Однако пока можно ограничить отца с ребенком путем обращения в суд об установлении порядка общения его с ним, где указать, что встречи только на территории проживания ребенка в присутствии матери. Это поможет избежать вывоза ребенка в неизвестные места, а также пресечет возможность поползновений странного характера со стороны отца.