Как решить проблему - жизнь с негражданином без документов, опасения относительно отъезда и возвращения в Россию и отказ отца ребенка в разрешении на выезд

Помогите мне пожалуйста, я живу с человеком, ОН ГРАЖДАНИН ГРУЗИИ, у него нет документов. Мы узнали, что можно пойти и заплатить штраф, потом выехать в грузию и сделать документы, но боимся, что 5 лет муж не сможет вернуться в Россию, у нас есть общий сын и моя дочь от первого брака. Отец дочери разрешения на выезд не даст, поэтому уехать в Грузию я жить не смогу, что делать не знаю, помогите пожалуйста.