Как защитить своих детей и себя от конфликтного отца - права матери и возможные риски

Моей дочери 1,5 года. С ее отцом в браке не состояла и не состою, отцовство он признал не сразу, а спустя полгода. Алименты платит по суду (вычитают из зарплаты долг за полгода). Отношения конфликтные, он приходит в любое время и требует открыть дверь, даже когда это не в интересах ребенка, ведь у ребенка есть режим. Я не против его общения с ребенком, но только в моем присутствии, и в заранее оговоренное время, на что он не согласен и требует открывать ему в любое время, а еще лучше - отдавать ребенка ему (он живет с мамой в съемной квартире, своего жилья и иного имущества не имеет). Я тоже снимаю квартиру, живу с двумя детьми (старший ребенок от другого мужчины, отношения прекрасные). Отец моей дочери грозит, что пойдет в суд, и отнимет у меня дочь, или хотя бы сможет забирать ее в любое время к себе без моего согласия. Так ли это? в 2015 году он привлекался по 119 статье "угроза убийством" (бросался на меня с ножом, но в суде я пошла на примирение, и его не осудили), я опасаюсь отдавать ему дочь, как это возможно вообще, без согласия матери забирать ребенка? И действительно ли по решению суда я обязана буду открывать ему дверь своего жилья (хотя я вообще опасаюсь впускать его в квартиру) по первому требованию? Он за все полтора года не принимает участия в жизни ребенка, кроме этих алиментов, которые я только через суд от него добилась. И теперь он грозит, что если он пойдет в суд, то мне будет плохо что мне ожидать от суда?