Как решить конфликт с бывшим сожителем, который незаконно строится на участке с моим домом?

Проблема такая. У меня трое детей. В браке не состояла ни когда. Двое старших детей не от нынешнего (уже бывшего)сожителя. Но на младшую дочь у него установлено отцовсто. Я у его матери 3 года назад купила под средства мат. капитала дом с земельным участком. Долевая у меня только с детьми. Так вышло что мы уже год не проживаем совместно. Но он продолжает приезжать и даже строится на участке без всякого разрешения. Хоть и говорила ему зачем строить если я против. Терпение мое лопнуло совсем, когда он его мать и сестра начали на меня "наезжать"-чтоб я собирала вещи. Они мне дадут потраченые средства и я должна уйти. Мать его сказала что отсудит дом-признает сделку не действительной. Мол я им угрожала. Мне надоело это все терпеть еще и слухи пускают про меня (живу в поселке). И вот я собираюсь идти к участковому-туда меня послали с местной администрации. Мол если так не выйдет решить конфликт-то тогда в суд. Я не претендую на их постройки (дом и баню построили). Я просто хочу что б его и его семьи не было рядом. Как быть? Что делать? Может ли он или его мать (у нее покупала) выгнать нас или заселиться сюда? Ни кто из них тут не прописан. До разрыва отношений все было хорошо. У них еще был участок в этом поселке. За время нашей совместной жизни они его продали. У него есть дом в городе-он его продает. Помогите мне.