«Как обезопасить себя и ребенка при общении с бывшим мужем после развода?»

У меня такая проблемка - Мы с мужем разведены уже 4 года, сыну – 4,5 года. Я не препятствую общению между ребенком и папой. Происходит все по обычной схеме: он звонит, договариваемся о времени, они встречаются у меня дома. При этом я не веду себя как надзиратель и всегда позволяю пообщаться им наедине. В последнее время он заговорил о том, чтобы брать ребенка к себе на 2 часика или на ночь. Я против, так как ранее, он угрожал мне, что заберет сына и все, и после мне никто не сможет помочь - ни милиция, ни суд. Что он имеет такие же права на ребенка, как и я. Я согласна с его правами. Но как мне обезопасить себя и ребенка? Он уже обращался несколько раз в суд, у нас были беседы с отделом образования. Бывший муж собирается женится, поэтому, я думаю, что его требования немного изменятся, как бы не получилось, что совсем забудет про сына. Но при этом он регулярно обещает, что в скором будущем, сделает так, что бы ребенок жил с ним, и тогда мне придется добиваться встреч. Подскажите мне, как я должна правильно думать и поступать, чтобы не накручивать себя. Как определяется, с кем будет жить ребенок после развода? У нас было так - после развода малыш остался со мной, и это никак не обговаривалось.