Могу ли я лишить отцовства гражданского мужа, чтобы мой новый муж мог усыновить мою дочь?

Я ушла от гражданского мужа так как он не работал, пил, гулял, у нас ребёнок ребёнку 2.3 месяца, с середины декабря 2015 г мы с моим ребёнком живём с моим мужем тоже в гражданском браке (с другим), а тот отец ребёнка не звонит не приезжает не помогает деньгами, не интересуется своей дочерью, а его родители звонят мне только чтобы попросить дочь на выходные, я им не даю потому что они любят выпить, я хочу спросить смогу ли я его лишить отцовства?, т.к новый мой муж хочут взять мою дочь на свою фамилию.