Как вернуть задаток при несоответствии условий сделки и возможность удержать его из-за временных потерь

Продаю квартиру, находится покупатель (ипотека), утверждающий, что ипотеку он оформит без проблем. Через десять дней с момента устной договоренности о сделке получаю задаток (пишу расписку, в которой указано, что сумма получена в качестве задатка за определенную квартиру по договору купли-продажи, хотя номера и даты договора нет, т.к. договор и не был составлен). Никаких других документов подписано не было. Через 1,5 месяца «вытягиваю» из покупателя результат: в ипотеке ему дано «добро», но банк не даёт ему «добро» на покупку моей квартиры, т.к. она расположена на 3-м этаже (3-х этажки), если бы квартира была на 4-м этаже проблем бы не было. Далее покупатель запросил вернуть ему его задаток. При этом, ожидая процесс оформления ипотеки у покупателя, ко мне поступали звонки от клиентов, желающих купить квартиру и даже дороже, но я отказывала, т.к. у меня «на руках» был задаток от покупателя и т.к. сделка на стадии оформления. Вопрос: могу я не возвращать задаток покупателю, исходя из временных затрат (на всё ушло полтора месяца от нашей устной договоренности) и исходя из того, что квартиру уже можно было продать и даже дороже (действует ли в данном случае моральный и материальный ущерб)? Благодарю заранее!