Могу ли я на основании всего вышесказанного лишить его родительских прав?

Думаю что можете. Родители (один из них) могут быть лишены родительских прав, если они:

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;

отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;

злоупотребляют своими родительскими правами;

жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;

являются больными хроническим алкоголизмом или наркоманией;

совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.

Лишение родительских прав производится в судебном порядке. При рассмотрении дела о лишении родительских прав суд решает вопрос о взыскании алиментов на ребенка с родителей (одного из них), лишенных родительских прав.

Родители, лишенные родительских прав, теряют все права, основанные на факте родства с ребенком, в отношении которого они были лишены родительских прав, в том числе право на получение от него содержания, а также право на льготы и государственные пособия, установленные для граждан, имеющих детей. Лишение родительских прав не освобождает родителей от обязанности содержать своего ребенка. Вопрос о дальнейшем совместном проживании ребенка и родителей (одного из них), лишенных родительских прав, решается судом в порядке, установленном жилищным законодательством.

Ребенок, в отношении которого родители (один из них) лишены родительских прав, сохраняет право собственности на жилое помещение или право пользования жилым помещением, а также сохраняет имущественные права, основанные на факте родства с родителями и другими родственниками, в том числе право на получение наследства. При невозможности передать ребенка другому родителю или в случае лишения родительских прав обоих родителей ребенок передается на попечение органа опеки и попечительства. Усыновление ребенка в случае лишения родителей (одного из них) родительских прав допускается не ранее истечения шести месяцев со дня вынесения решения суда о лишении родителей (одного из них) родительских прав. (ст.ст. 70-71 СК РФ)

Поскольку данный вопрос решается в судебном порядке, Вам надо составить исковое заявление, подать его в суд в соответствии с правилами подсудности, приложить все подтверждающие документы, в дальнейшем ходить на судебные заседания. Возможно это сделать с помощью юриста, который представит Ваши интересы, вероятность успешного разрешения вопроса будет в таком случае большей.