Как защититься от угроз и основания для мужа обратиться в суд в случае развода и ребенка

У меня такой вопрос. Я нахожусь больше года в разводе. У нас с бывшим мужем есть несовершеннолетняя дочь, которая живет со мной. Муж исправно платит алименты, но к дочке приезжает редко – раз в два-три месяца, «когда находит время», как он говорит. При этом его работа находится в двадцати минутах ходьбы от нас. Одной из причин развода послужило именно его нежелание уделять внимание ни мне, ни ребенку. Сейчас я живу в гражданском браке с человеком, который во всем заменил отца моему ребенку. Проблема в том, что муж не корректирует время свиданий с ребенком со мной. Сейчас он заявил, что собирается в отпуск и заберет ребенка на «неделю или на две» даже не сообщив куда. На мои сообщения о том, что ребенок сейчас отдыхает на даче с бабушкой, которая специально взяла отпуск, он заявляет, что приедет и заберет, я так понимаю, без моего разрешения, и что это мы должны под него подстраиваться. При этом говорит, что я запрещаю ему видеться с ребенком когда он хочет, и грозит мне судом. Вопрос в следующем, как мне прекратить такие угрозы в мой адрес и какие основания есть у мужа обращаться в суд, где он грозиться отобрать у меня ребенка, заявляя при этом, что у него хорошие адвокаты. Сейчас я также являюсь кормящей мамой (только что родила дочку от гражданского мужа), и лишняя нервотрепка мне весьма нежелательна. Помогите, пожалуйста!