Алименты выплачиваются, но бывшая гражданская жена пытается лишить отцовства - правомерно ли действие опекунов?

Наш брак зарегистрирован, муж платит алименты, но его бывшая гражданская жена хочет, чтобы его лишили отцовства, т.к он не воспитывает ребенка с 2-х месячного возраста (сейчас ему 13 лет). Сейчас к нам приходит совет опекунов и проверяют его жилищные условия. Он живет в моей квартире, приобретеной далеко до нашего знакомства. В праве ли они это делать.