Можно ли лишить родительских прав бывшего мужа, если он 3 года назад никак не участвовал в жизни ребёнка, не высылал денег

Ну забрать его сложно. Вам надо подать в суд об установлении места жительства с вами. Тогда забрать его не сможет.

Можно лишить по следующим основаниям: злоупотребление правами родителя по отношению к ребёнку, жестокое обращение с ребёнком, совершение преступления против жизни и здоровья члена семьи, алкогольная и наркотическая зависимость родителя. Также следует обратиться в суд с иском об определении места жительства ребенка и порядке осуществления родительских прав.