Соседи сверху начали жаловаться на шум с нашей квартиры, что делать?

Такая ситуация, ребенок (10 л) во вторую смену, пока придет со школы, иногда на тренировку, поест, отдохнёт,уроки, мыться, спать - все это мы заканчиваем примерно часов в двенадцать ночи +-пол часа. Есть ещё младший ребенок, один годик, естественно малыш бегает играет, пока мы занимаемся со старшим. Над нами живут соседи, которые начинают часа в два ночи пылесосить, стираться, напевая что то при этом, либо с утра раннего, часов с восьми девяти... пару раз было, что они что то в ванной сверлили... не долго, мы не стали скандалить... но это услышал сосед снизу, и началось... сначала звонил председатель, спрашивал что мы делаем, мы объяснили что это соседи сверху. .. через некоторое время ещё звонок, мы топает... мужчине (сосед снизу) около пятидесяти лет... чуть дверь не вышиб, я открыла, начал хамить, чтоб я угомонила ребенка, старшего, что он лось, специально прыгает и скочит, и он из за нас не может уснуть с пол одинадцатого... когда он пришел было пол первого ночи, сын уже лег спать, до этого сбегал в туалет и обратно... долбил он нам по батарее... и это бывает частенько, даже когда старший в школе, а младшая спит... с какой целью не понятно. Накричал на меня, сказал вызовет полицию, я вас предупредил... Вопрос: мы семья не пьющая, муж работает до поздней ночи, музыку не слушаем, только фильмы иногда смотрим (к тому что не громко) , не скандалим, но из разговора с председателем, понятно, что они в хороших отношениях, мы год как взяли квартиру в ипотеку, я не люблю и не хочу конфликтовать ни с кем, но и на цыпочках детей заставить ходить не могу, мы у себя дома, почему он придирается? Что можно сделать? Жалоба ответная в ТСЖ? Мы действительно в чем то виноваты? Что может сделать полиция в данной ситуации, если он все таки вызовет? Как себя вести? Что говорить? Спасибо за ответ.