Отказ от продажи квартиры после получения залога - правовые последствия и возможность привлечения к ответственности

Я месяц назад получил залог от человека, который собирается купить у меня квартиру. Написал ему расписку следующего содержания: (дословно)Я, Ф.И.О.получил от,Ф.И.О деньги сто тысяч рублей, как залог, в счет будущей продажи квартиры, которая находится по адресу... Число и подпись. Все договоренности между нами были устные. Расписка ни кем не заверена. Теперь, в силу объективных причин, я передумал продавать квартиру, о чем уведомил покупателя и попросил его забрать свои деньги, а мне вернуть расписку, но он упорно не хочет забирать свой залог. Всячески избегает меня, не отвечает на звонки. Мне это кажется подозрительным. ВОПРОС: не может ли он меня привлеч к ответственности.