Проблемы с бывшим супругом - как решить вопросы о ребенке и алиментах?

Меня зовут Екатерина. Обращаюсь к Вам, с просьбой помочь. Мой бывший супруг, после нашего развода, ни разу не появлялся к ребенку, алименты платит с горем пополам, прошлую задолженность по алиментам, я ему списала взамен на разрешение по смене фамилии несовершеннолетней дочери, хотя бывший супруг давал разрешение на удочерение ребенка моим нынешним мужем, но мой супруг был судим и ему отказали в удочерении. Прошло уже 4 года, дочке уже пятый год, почти сразу после развода, я вышла замуж за другого человека, мы вместе воспитываем мою дочку, других детей у нас нет, вся семья приняла её как родную, моего нынешнего супруга она зовет папой, они очень любят друг друга. А бывший супруг, даже когда видит ребенка, никак на нее не реагирует. Сегодня он позвонил и потребовал у меня копию свидетельства о рождении дочери. Свидетельство выдано нам повторно по смене фамилии. Я принципиально попросила его взять дубликат в ЗАГСе, на что он ответил, что за это платить нужно. Меня это очень разозлило. На развод я подавала, расходы я оплачивала одна, свидетельство дочке тоже, огромные задолженности по алиментам прощаю. Затем муж пригрозил что расскажет все ребенку, про то кто её отец. Раньше, я была не против, но прошло 4 года, ей было 3 месяца, когда он забыл про нее, теперь не очень-то хотелось бы травмировать ребенка в таком возрасте мы и сами рассказали бы ей,но не на пятом году жизни. Мне бы хотелось лишить его родительских прав, но боюсь, что уклонения от уплаты алиментов, бездействие в воспитании ребенка и периодическая задолженность оплаты по кредиту, это недостаточное основание для этого. Подскажите как быть?