Как защитить ребенка от нежелательных встреч с отцом после Мирового соглашения?

Два года назад после развода мы заключили с бывшим мужем Мировое соглашение о местопроживания ребёнка (с матерью) после года судебных тяжб (муж воровал сына и прятал от меня пол-года). Согласно которому сын (ему 6 лет) летнее время (июнь-август) проводит с отцом (плюс 2 раза в неделю он может бывать у него). Я на это пошла уже только ради того, чтобы увидеть и вернуть ребёнка. Всё дело в том, что ребёнок не хочет это время быть с отцом, плачет. Когда он его к себе берёт в гости на день - два, сын постоянно мне звонит и просит-"Мама, забери меня, я хочу к тебе. Только не говори об этом папе-он кричит на меня." Можно ли каким-то образом, мотивируя психологическим состоянием ребёнка, ограничить его общение с отцом? Сразу скажу, что у бывшего супруга везде положительные характерисики (на работе, с соседями), но с сыном отношения не складываются. Хотя принципиально он забирает его к себе из сада, когда ему вздумается, не спрашивая-хочет ли этого ребёнок . А на днях сказал сыну-"Собирай вещи, с начала лета ты живёшь у меня (согласно соглашению)." Когда мальчик пришёл домой-весь вечер проплакал и до сих пор у меня спрашивает-"Мама, я же с тобой останусь?!" Подскажите, что мне делать? В мировом соглашении написано (дословно не помню)-"Стороны не могут больше обращаться в суд по-данному вопросу". Неужели всё? Боюсь за психическое состояние сына. И сама уже устала от выходок бывшего мужа.