А то что фамилии у нас разные с ребенком это может как то повлиять на то чтоб у меня забрали ребенка?

ЗДравствуйте, да нет, особенной разницы нет, лишение род прав не связано никак с разными фамилиями.

"Семейный кодекс Российской Федерации" от 29.12.1995 N 223-ФЗ (ред. от 30.12.2015)

СК РФ, Статья 69. Лишение родительских прав

Родители (один из них) могут быть лишены родительских прав, если они:

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;

отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, воспитательного учреждения, организации социального обслуживания или из аналогичных организаций;

(в ред. Федеральных законов от 24.04.2008 N 49-ФЗ, от 25.11.2013 N 317-ФЗ, от 28.11.2015 N 358-ФЗ)

(см. текст в предыдущей редакции)

злоупотребляют своими родительскими правами;

жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;

являются больными хроническим алкоголизмом или наркоманией;

совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.

(в ред. Федерального закона от 30.12.2015 N 457-ФЗ)

(см. текст в предыдущей редакции)

А то что фамилии у нас разные с ребенком это может как то повлиять на то чтоб у меня забрали ребенка?

Ни коем образом это не влияет.