Продавец и покупатель оказались в сложной ситуации с оплатой квартиры - что делать?

Мы хотели продать квартиру, продавец нашелся, 4 месяца назад был заключен предварительный договор купли продажи. В котором покупатель передавал мне сумму в рубля 500 тысяч в качестве обеспечения исполнения обязательств. В случае не выполнение с моей стороны договора,, я обязалась вернуть ему деньги и заплать штраф 10 тысяч рублей, в случае отказ с его стороны, я обязалась вернуть ему оговореную сумму денег и он платил мне штраф в 10 тысяч рублей, после подписания договора покупатель отдал мне сначала только двадцать тысяч рублей, сказав, что отсальные деньги он отдаст в течение недели и тогда должна буду написать ему рассписку о получение полной суммы. Так получилось, что деньги он не отдал, мы не хотели обострять и решили все таки подождать пока он получит ипотеку. Сейчас он получил ее, мы подписали еще один предварительный договоро купле продаже в Сбербанке, где написано, что часть стоимости в сумме девятьсот тысяч рублей оплачитваеться за счет собественных денежных средств Покупателя, остальная часть оплачивается за счет целевых кредитных денежных средств, предоставляемые банком. Мы договорились о сделке, когда зашла речь об оплате 900 тысяч, покупатель сказал, что уже отдла мне 500 тысяч изходя из 1 предварительного договора купли продажи. С моей стороны могу только сказать, что мне было отдано 20 тысяч рублей в обещанием остальные деньги отдать в течение нескольких дне,, естественно никакой расписки о получение денег я не давала. Подскажите как поступать в такой ситуации. Я предложила покупателю отменить сделку и вернуть его 20 тысяч, на что он настояивает на полчение 500 тысяч. Спасибо заранее б с уважением Анна Пархоменко.