Как защитить своего ребенка от вредного воздействия бывшего мужа?

Как мне быть? Бывший муж написал заявление в органы опеки, потому что я не даю ему видеться с ребёнком. Ситуация такая, дочке 2 года и 9 месяцев, за всю её жизнь, она ему была просто не нужна, как игрушка. Мы с ним развелись год назад, в ходе бракоразводного процесса не было обговорено время, когда он может видеться. Всё время после развода, я давала ему ребёнка, после ночёвок у него, ребёнок приходила неадекватная, непослушная, плохо спала и ела, хотя у моей дочери всегда был чёткий режим по поводу еды и сна. У них дома она засыпала очень поздно и такое было всегда, когда она была у него. Ребёнка он всегда вёл к своей матери, а она у него пьёт и делает это не стесняясь при моей дочери. Давать я дочь ему перестала ещё по той причине, что он ломает ей психику. Он мог её забрать, а потом повторно появиться через месяц-два. То есть он её забирал раз в 2 месяца. Алименты он платит, просрочек никогда не было. Не даю я ему дочь с февраля месяца. Последний раз он брал ее в декабре и потом вспомнил только в феврале, и вот с этого момента я и не даю. И я бы не хотела давать дальше. Из-за его матери, из-за того, что он живет с несовершеннолетней девушкой, и из-за поведения дочери, когда она от них приходит. Недавно мне позвонили с органов опеки и сказали, что он написал на меня заявление и они просят меня приехать к ним. Что мне делать и как быть, подскажите пожалуйста?