Угроза мошенничества - Нужно ли вернуть деньги в ситуации с покупкой квартиры без официального договора и сомнительными действиями продавца и риэлтора?

Здравствуйте, Мы на словах договорились с человеком, что покупаем у него квартиру. Дали ему деньги, он написал расписку о том, что сумму получил "в счет оплаты по договору купли-продажи квартиры". Когда мы перешли к делу-начали договариваться, как будем отдавать деньги, человек стал упираться и говорить, что ему не удобен банк, где мы хотим открыть аккредитив, что ему нужен другой банк ближе; на просьбу взять в УК справку о прописанных в его квартире человек резко заболел, с температурой. Также продавец упирался против оформления договора через нотариуса и хотел просто самостоятельно составить и подписать договор. Также человек действует вместе с риэлтором, который сам нам не показывался, связывается по телефону. По словам продавца, этот риэлтор просто помогает по дружбе, а не официально. Риэлтор начал истерить, требовать другой банк, пытался отговорить от нотариуса и аккредитива, продавец намекал просто передать ему деньги или просто перевести их ему на обычный счет. Вся эта история закончилась тем, что "риэлтор" обещала обязательно позвонить, но в назначенный день не позвонила. Мы побоялись мошеннических действий и предложили продавцу вернуть деньги. Продавец сразу перевела стрелки на "риэлтора", риэлтор уже утверждает, что она не просто по дружбе помогает, а официально и по доверенности, и что продавец "разгромила всю квартиру, разобрала шкафы" (при том что сама продавец говорила о болезни с температурой и лично говорила, что переедет через неделю только и вообще не живет в этой квартире, а только приехала ее показать). Риэлтор сказала, что деньги они не вернут, потому что они несут убыток, отправлять в суд и так далее. Слово залог не написано, договора не было. Можем ли мы вернуть свои деньги?