Бывший гражданский муж подал иск o встречах с детьми, не выплачивая алименты - какие шансы на ограничение его родительских прав?

Бывший гражданский муж (сожитель) и официальный отец детей подал на меня иск об определении встреч с детьми, ссылаясь на свои права, но не обязанности (долги по алиментам составляют 408000 рублей, выплаты нерегулярные и минимальные). Расстались мы в октябре 2013 года, на алименты я подала весной 2014 года. Изначально я никогда не была против общения, но после того как он потерял на вднх ребенка-инвалида (аутист), я стала давать детей все реже (мальчик, 8 лет и девочка, 6 лет). Пока жили вместе, он был категорически против обследования и медикаментозного лечения сына, против официальной инвалидности. Также у папаши есть и другой корыстный мотив - так как квартира полностью оформлена на ребенка (на момент оформления он еще числился как инвалид), то вполне вероятно, что этот вопрос стоит. Когда мы с матерью забирали от него детей после выходных, они были грязные, на столе стояли засохшие пельмени, доширак... после их встреч у них то кашель, то сопли, то понос, а также наблюдалось психическое возбуждение, которое проходило только через несколько дней, то есть эти встречи приносят больше вреда, нежели пользы. У меня есть теперь законный муж, который замечательно относится к детям и готов стать их официальным отцом. Есть ли у меня шансы в ограничении или вообще в лишении отцовства? У него нет официальной прописки, я боюсь отдавать детей, мало ли куда их денет, так как я еще сомневаюсь в его психическом здоровье. Наработал себе плохую характеристику у пристава, всегда плохо шел на контакт, менял место жительства, не предупреждая об этом органы. Что мне сделать и какие у меня шансы? Стоит ли в данном случае в ответ на его иск просить ограничить его в родительских правах во благо психического здоровья детей и с тем учетом, что он не выполняет свои обязательства по выплатам назначенных судом алиментов? Ему же все равно, на что живут дети, уплачен ли садик и прочие расходы... Он считает, что если у меня официальный муж, значит, он и должен платить.