Спор по предварительному договору купли-продажи

Здравствуйте. Мы выступаем продавцами квартиры. Ситуация следующая. Нашли покупателя, продажа у нас срочная. Заключили предварительный договор, где была прописана сумма задатка 50.000₽ и сроки заключения основного договора 16 числа. В устной форме, потенциальный покупатель попросил съехать к 1 числу и обещал выйти на сделку к этому времени. Через неделю он сообщает, что не может выйти на сделку к обговореному времени, так как у него какие то проблемы с деньгами. Согласно предварительному договору мы не можем продать квартиру другому покупателю, если мы так поступим, мы должны будем выплатить компенсацию в размере 100.000. Повторюсь, у нас срочная продажа. Расторгать предварительный договор он отказался, и обещал выйти на сделку согласно установленному в документе сроку. За два дня до истечения договора, он сообщил что приедет на сделку и больше на связь не выходил. Договор истек 16 числа, он не приехал. Сегодня он написал претензию в риэлторскую компанию, через которую мы продавали квартиру с требованием вернуть залог, назвав нас недобросовестными продавцами. Вопрос. Должны ли мы будем вернуть залог, чем нам грозит данная претензия, при условии что его не разорванный предварительный договор не давал нам продать квартиру, сорвав нам несколько потенциальных покупателей, при этом заставив всех понервничать