Как ограничить права биологического отца из-за его негласного поведения и насилия над ребенком?

Он является биологическим отцом, но расписались мы после рождения ребенка и нам выдали документ об установлении отцовства (не правильно выразилась до этого). на протяжении всех этих 3 лет скажем так баловался наркотическими средствами, ребенком не занимался, несколько раз поднимал на меня руку и достаточно сильно шлепал ребенка. Содержали нас его бабушка и дедушка когда жили у них и мои родственники когда жили с ними... что мне можно сделать? Либо как-то ограничить его от ребенка, либо лишить его вообще прав. Ребенку почти 3 года.