Проблема с невыполнением работ - возврат недостающей суммы и права юр.лица

Такая проблемма, мы юр. лицо заключили договор бригадного подряда с физическим лицом. Он проработал на 3 объектах шесть месяцев, денежки выдавались авансами, мы хотели продолжать работы, но пришлось прекратить договорные отношения из-за некачественных работ. Вообще ситуация заключается в том, что удержана не вся сумма ндфл, не знаем как теперь вернуть недостающую сумму, тем более он кричит, что мы вообще не имели права удерживать ндфл, хочет идти в суд. Как нам поступить?