Как ограничить влияние биологического отца на нашу жизнь и лишить его родительских прав?

Я родила дочку будучи не в браке. С биологическим отцом ребёнка у нас были плохие отношения, т.к. он не желал как то устраивать свою и нашу жизнь, зарабатывать деньги, помогать как либо и чем либо. Но после родов было такое отчаяние, что в надежде простимулировать его я согласилась записать его в свидетельство. Мы так и не поженились. Далее спустя 5 месяцев, в течение которых интереса к ребенку он не проявлял, произошла ссора, он меня ударил, я написала в милицию заявление. С этих пор я ограничила наше общение. Первое время он пытался устраивать встречи, я предлагала приходить ему к родителям моим и пусть общается с ребёнком, он отказался. Теперь уже около трёх лет он не видется с нами, естественно не помогает. На алименты я не подавала, он пугает что сделает ответный иск о встречах с ребёнком. Ни ему это не надо, он не работает, не имеет образования, ведёт праздный образ жизни. Ни нам это не надо после расставания ч встретила человека с которым прекрасно сейчас живём и он стал отцом для моей дочери (морально, не юридически). Вопрос в том что мы собираемся место жительства менять, ездить отдыхать и везде требуется разрешение, которого он не даст. Возможно ограничить влияние биологического отца на нашу жизнь? Если нет то каковы шансы лишить прав?