Отказ от договора услуг из-за препятствий заказчика и необоснованного возврата аванса

Добрый вечер. Такая ситуация, заключили договор о оказании услуг по строительству с заказчиком. Отработали все хорошо пару дней. Но потом заказчик начал неадекватно себя вести, выражаться нецензурно и угрожать что закроет всю бригаду на объекте и не выпустит пока не сделают. Тем самым подвергая стрессовой ситуации всей бригаде. Поговорив с заказчиком , он извинился и сказал что такого больше не будет и что он просто переживает за сроки. В итоге на следующий день, произошло тоже самое, вёл себя неадекватно, орал что не успевает по срокам. Хотя в договоре было прописано с запасом сроки и мы в их укладывались. По качеству притензий не было. В итоге на след день, после такого повтора истерик со стороны заказчика, бригада отказалась выходить на этот объект и понятно почему. Мы договорились с заказчиком ,что в связи что он все равно так себя ведёт, мы расторгаем договор и будет пересчёт ованса которые он заплатил. Посчитав свои работы , мы этот ованс отработали. Но проходит пару дней, он вызвал других людей к себе на объект и пишет что за нас надо переделывать , хотя к качеству у его притензий не было и он сам строитель и разбирается в этом. Но ему абы кто то сказал, что надо переделать и теперь требует от меня всю сумму ованса обратно, якобы мы сделали плохо. Как я Юридически могу объяснить ему, что он не прав в этой ситуации? К сожалению акта о проделанных работах у нас нет