Правомерны ли его требования, должна ли я возвращать ему деньги, если да, то какую сумму?

За найм за вычетом трёх дней. И залог

Мне не нравится ваш вопрос. Иными словами, вы спрашиваете - сможет ли он доказать, что что-то платил вам? Это уже не юридическая задача, а вопрос совести двух людей. Любая сторона договора, пусть даже его и нет (хотя всей информации мы не знаем - возможно, есть переписка в мессенджере, банковский след и т.п.), должна действовать добросовестно, разумно и справедливо. Если вы хотите, чтобы здесь одобрили потенциально нечестное поведение, то будьте также готовы доказывать, что одна из частей оплаты является залогом, а не просто предоплатой за второй месяц, например. Да и это не добавит вам оснований для сбережения чужого.

Я понимаю, что из-за одностороннего отказа, вы, возможно, потеряли "реального" нанимателя, поэтому договариваться об удерживаемой сумме вам необходимо исходя из фактически понесенных издержек. Для начала, как минимум, из оплаты вы можете вычесть "3 дня", так как ключи были у нанимателя. Может быть еще какая-то сумма компенсации за неудобства, но не более.

Желательно, оформить возврат денег распиской с формулировкой отсутствия претензий у сторон друг к другу. А в будущем использовать письменное соглашение.

Письменный договор был? Акт приёма-передачи был? Деньги как переданы? с подтверждением?