И куда нужно обращаться с исковым заявлением о лишении родительских прав, сразу в суд или в другой орган?

Разведена с мужем уже 9 лет. Ребенку 13 лет. Сейчас живу гражданским браком и имею еще одного ребенка 4-х лет от гражданского мужа. Отец старшего ребенок не имеет контакта со своим отцом, тк. отец не проживает в нашем городе, да и о ребенке знать не хочет. За все время развода (да и в браке) не помогал своему ребенку. На сегодняшний день, возникают проблемы с выездом ребенка на отдых, за границу, т.к. требуется согласие обоих родителей. Прошу бывшего мужа приехать и сделать согласие на выезд, он соглашается, а потом отказывается. В результате я ему сказала, что буду подавать заявление о лишении родительских прав, он был не против, а потом подумал, позвонил и сказал, что от ребенка не откажется. Его периодически разыскивает милиция (правда, за какое преступление, не могу сказать, не знаю). По ребенку видно, что она страдает от того, что нее такой отец. Сам не помогает, так еще и создает препятствия для выезда ребенка за счет мамы и тети. Больше всего боюсь, что ребенок вырастет, получит достойное образование, начнет строить свою жизнь, тут и объявится отец с требования на его содержание в старости. Скажите, пожалуйста, могу ли я решить родительских прав отца в случае, если я не подавала в суд заявление об алиментах? И куда нужно обращаться с исковым заявлением о лишении родительских прав, сразу в суд или в другой орган? Спасибо за ответ.