Правомерность удержания задатка при отказе покупателя от условий сделки

Риэлтор привел покупателя нашей квартиры, на месте при показе обсудили вероятность незаконченной планировки так как купили уже такой а техпаспорта нет и не было, и оповестили что есть долги по кредитам и арест на недвижимость порядка 200-300 тысяч рублей. Риэлтора предложили заключить договор о задатке прописать это и следом сделать договор безвозмездного займа у покупателя необходимых средств в счет стоимости квартиры для погашения долгов, покупатель согласился и мы естественно тоже. Покупатель настоял чтобы каждая сумма которую мы должны подтверждалась справкой из банка. В итоге неделя сборов необходимого пакета документов и всех справок о долгах и назначаем встречу для ознакомления и подписания договора займа, на встрече покупатель заявил что уже не хочет гасить наши долги что купит только когда мы погасим их сами или расторгаем сделку. Мы потратили много времени, возились с маленьким ребенком по этим ужасным очередям, я целую неделю не работал из-за этого, обидно отдавать задаток, поэтому поставили условие, или продолжаем сделку или мы удерживаем задаток. На это нам риэлтора заявили что у нас удержать его не получится, хотя судя по 6 пункту нашего предварительного договора он обязан нам предоставить подтвержденую документами сумму для погашения, а по факту он отказывается. Правильно ли я размышляю? Дайте совет. Договор прикрепляю