Проблемы с совместной собственностью недостроенного дома - что делать и имеет ли бывший сожитель право отнять дом?

У меня такая проблема. В гражданском браке жила с 1997 г. 15 лет. Есть сын от предыдущего брака и дочь 1998 г.р.Сожитель официально состоял в браке с другой женщиной до 2008 г.Дочь записана на него. В 2005 г. приобрели недостроенный частный дом с земельным участком, по договору оформили как покупку участка, как нам посоветовали (покупали всего за 100 тыс.) Оформлена сделка на меня и право собственности у меня. Договаривались с мужем, что дом оформим на моих детей в равных долях. Уже 2 года не живем вместе, по обоюдной договоренности сделали в доме два входа и перегородку. Проблема в том, что документов на дом так никаких и не оформили ещё.Единственное, что есть - договор с энерго, тоже оформленный на меня. Вчера бывший предложил всё-таки делать документы на дом как и договаривались на детей, а сегодня уже требует оформлять половину на него. Говорит, что дочь его может выгнать со второй половины и лучше он потом завещание на неё напишет. Я ему не верю и отказалась от этого. Грозит, что возьмет другой участок и перевезёт дом туда если не соглашусь. Боюсь оставить детей без жилья. Прописаны мы все в соседней деревне, т.к. дом ещё не оформлен. Посоветуйте, что делать и имеет ли он право отнять дом и перевезти его?