Как защититься от хозяина квартиры, который отказывается вернуть деньги за преждевременный выезд

Дравствуйте, нужен совет. Арендовали жилье, прожили месяц, хозяин заявил, что хочет делать ремонт, ремонтировать балкон, кухню, менять ламинат, и все это делать, в наше отсутсвие, пока мы на работе, то есть мы на работе, а в квартире, за которую мы платим, где находятся наши вещи, будут ходить рабочие, без нашего присмотра, нас это не устроило, мы об этом сказали хозяину квартиры, он дико обиделся на выраженное ему недоверие, в итоге сошлись на том, что мы съезжаем, в договоре указано, что если мы (арендаторы) выезжаем раньше того срока за который уплачены деньги, хозяин возвращает деньги. В итоге, мы в воскресенье перевезли все вещи, то есть выехали из квартиры, о чем мы за неделю договорились, что мы выезжаем в воскресенье, хозяин приедет вернет залог и разницу. Вчера вывезли все вещи, ждали его, позвонили... сказал, что якобы, заболел и приехать не может, заявил, что деньги вернет только за тот срок, что останется после передачи ему ключей, то есть когда он оклемается и соизволит приехать осмотреть квартиру, а все это время, не смотря, что мы там не живем, он будет считать, что мы проживаем в квартире. Но это не наша вина, что он заболел, ведь, да и жена его могла бы приехать. Так же потом вообще сказал, что хочет, чтоб мы до конца оплаченного срока жили там, мол чтоб квартира не простаивала, деньги нам не хочет возвращать. Как на него повлиять? Спасибо за помощь!