Конфликт с бывшим мужем - назначенный судом порядок общения с ребенком ставит меня в затруднительное положение

Суд назначил бывшему мужу порядок общения с ребенком-каждое второе и четвертое воскресенье месяца. Я собираюсь съездить с трехлетней дочерью в гости в Москву. И мы попадаем по графику встреч на дату отъезда. Я через Смс сообщила б/м,что мы уезжаем, на что он ответил, чтоб я исполняля по суду что положено и что он сообщит приставам. Как мне быть? Я,получается, по прихоти отца буду до 18 лет ребенка сидеть как на привязи?