Правовые возможности лишить отца ребёнка в ситуации насилия и психологической опасности

С мужем не расписаны, ребёнок на его фамилии. Прописаны у него, дом на его матери. Сейчас снимаю квартиру, ребёнку 3,5 годика сын, до сих пор не говорит из-за пьянок и скандалов отца, замкнулся, сейчас только начал потихоньку говорить, муж бил и унижал меня при ребёнке. Сейчас грозится обсудить его, можно ли его лишить прав, или хотя бы,чтоб ребёнка видел редко под моим присмотром, хотя ребёнка он очень любит и он его тоже, но если он выпьет или его, что то разозлит муж становится психически не уравновешенным и опасным для психики ребенка?