Бывший муж угрожает подать в суд о видении ребенка - а правомерны ли мои действия?

Такой. Бывший муж утверждает, что я не даю ему видеться с ребенком и он обратится в органы опеки для того чтобы ему были выделены дни для свиданий. На самом деле ситуация немного иная, он звонит 1 раз в 2-3 месяца и требует предоставить свидание на следующий день. Недавно ребенок болел, отец написал смс что он хочет забрать ребенка. Я ему ответила, что дочь больна и сейчас я не могу ее с ним отпустить. Через неделю все повторилось (на больничном мы просидели всего 10 дней и 3 дня она сидела одна), и опять я сказала, что ребенок только что переболел, нам с понедельника нужно выходить в детский сад и на работу... Более СМС не было, а через неделю он мне позвонил с угрозами, что будет подавать в суд. Правомочны ли мои действия в этой ситуации? Могу ли я опираться в суде на то, что бывший муж даже не звонит ребенку, а только пишет СМС или в соц. сетях мне? Алименты он платит на ребенка от 2 до 3,5 тыс рублей в месяц, больше ничем не помогает.