Возможно ли вернуть задаток при продаже квартиры через доверенное лицо?

Отдали задаток за квартиру. После подписания документа о задатке, нам сообщили, что продает не хозяин, а его знакомый по доверенности, поскольку хозяин находится в Москве и приехать не сможет. Риелтор сказал, что все проверит, соберет нужный пакет документов. Прошел день, мы подумали, нам показалось это подозрительным. Возможно ли вернуть задаток? Конечно в договоре написано, что в случае нашего отказа задаток остается у продавца. Но можем ли мы требовать участия в сделке самого хозяина, а не его доверенное лицо? И в случае отказа нам в этом, вернут ли нам задаток?