Необходимо судебное разбирательство по вопросу возврата денег за проданный дом

Наша семья в прошлом году обналичила мат. капитал на улучшение жил. условий, так как на квартиру его обналичивать нельзя нам пришлось купить ветхий домик. Теперь мы бы хотели его продать, но документы на квартиру у нас в процессе приготовления и без документов мы не имеем права его продавать, но к нам обратился человек у которого мы купили этот дом и сказал что хочет купить дом назад и заплатит сразу, а документы подождет до разрешения нашей маленькой проблемы. Мы конечно согласились и предложили ему пользоваться домом, а деньги передать вместе с документами. На что он отказался и сказал что если деньги будут у нас ему будет спокойней. Расписку он конечно не взял (мол свои люди), затем позвонил попросил привести расписку, я конечно написала ее и ездила за этим человеком целую неделю чтобы ему ее отдать в итоге он расписку не взял, сказал что будет просто ждать документы. Теперь прошел месяц, он мне позвонил и потребовал чтобы я ему вернула его деньги, я ему отвечаю хорошо подождите я продам дом и деньги вам верну. На что он мне заявил, что ждать он не будет деньги ему нужны сейчас, а я не могу их ему вернуть мы их вложили в ремонт. Но человек сказал что пойдет в милицию, либо в суд. Как быть подскажите пожалуйста! Просто сил уже больше нет, звонит каждый день. Может тоже на встречу заявление на него написать.