Получается что я не смогу вообще что ли видиться со своим ребёнком в выходные?

Я развелась с мужем когда ребёнку было 9 месяцев, развелась из за его измены, на развод подавала я, после развода ребёнок проживает со мной, я никогда не была против общения биологического отца с ребёнком, он иногда приходил приносил подарки, иногда они гуляли вдвоем, хотя после их встреч я долго не могла успокоить ребёнка, были истерики, вокруг все становились со слов ребёнка плохими. Недавно я вышла замуж. Переехала в другой город, об этом я сообщила бывшему, и просила его в устной форме что ребёнку нужно время адаптироваться на новом месте жительства около 3 месяцев, он согласился, но прошло 2 недели и мне звонят из органов опеки и попечительства и говорят мол на каком основании я запрещаю общаться ребёнку с биологическим отцом. Я позвонила бывшему и задала вопрос в чём дело, и он стал командовать, угрожать судом и тому подобное. Я ему предложила приехать на встречу с ребёнком, он сказал что он работает, и что ему не удобно, что его не отпустят, и что он хочет видеться с ребёнком только по выходным и забирать ребёнка на ночь. Я на сто процентов уверенна что он это делает из злости и из-за ревности. Я сама работаю пять дней в неделю и свои выходные провожу исключительно с ребёнком, так как в буднии дни ребёнок в садике. Бывший супруг сказал что это его не волнует и он добьётся того что только он будет по выходным общаться с ребёнком и забирать его с ночевой тогда когда захочет. Как мне быть? Получается что я не смогу вообще что ли видиться со своим ребёнком в выходные? Подскажите что мне делать? Только пожалуйста не нужно давать ссылки на законодательство и статьи, и с бывшим письменное соглашение полюбовно заключить не удастся.