Отказ продавца от сделки - как вернуть деньги и защитить свои права в данной ситуации?

Сложилась такая ситуация. Осенью нашли квартиру. Решили ее купить. Для того, чтобы оформить договор и передать деньги, нужно было собственнику сначала погасить ипотеку. Мы составили предварительный договор, где указывалось, что я внесу задаток 100 тыс и 2350 тыс загашу ипотеку, а оставшуюся сумму 3900 тыс передадим в день подписания договора. Я живу в этой квартире с детьми с октября, сделали ремонт, доли все выделились. И теперь, когда осталось просто прийти к нотариусу и подписать основной договор и передать оставшиеся деньги, собственник сказал, что отказывается от сделки, что цены выросли пока все это оформление затянулось. Риелтор очень нерасторопная, на связь практически не выходит. По предварительному договору мы должны были заключить основной договор ещё до 1 ноября. Риелтор деньги за свою работу тоже уже получила и говорит что от себя она все сделала. Подскажите, пожалуйста, как можно поступить в данной ситуации? Только в суд идти? И можно ли вернуть деньги, оплаченные риелтору? Собственник хочет увидеться на неделе и вернуть только 2350 за ипотеку и 100 залог. Но у меня больше миллиона потрачено было на ремонт, на съем квартиры, пока шёл ремонт, кредиты плачу с сентября. 3900 которые вот должны были передать в день подписания основного договора, лежат с осени на карте, хотя за них платится кредит.