Спор о пристройке соседа - определение границ и права

Соседский дом, старой постройки, проходит по меже вдоль нашего двора (общий двор ТСЖ, имеется кадастровый номер на весь участок двора, границы прочерчены), к нам во двор выходит 2 окна (узаконено только одно, второго даже нет в плане его дома), в 2013 году он возвел второй этаж с окнами в наш двор, в его плане это зафиксировано как самовольная постройка, реконструкция жилого дома. , недавно он еще достроил огромный балкон, но балкон там не прочерчен. Мы на это были согласны, но с тем, что он нам тоже даст в дальнейшем огородиться, может что то построить. Мы начали ограждать свой огород забором из профнастила, раньше была рабица, со стороны своего двора огородили, когда дошли на тыльную сторону ограждать, там его окна, договорились, что отступаем 1,5 метра и забор, но он потом пришел начал все ломать, говоря, что мы ему загораживаем весь свет, закрываем окна! Хотя весь свет он себе перекрыл своим же балконом. Угрожает нам, что опять все поломает и у него все законно! В чем мы правы? Что делать и куда нам писать и стоит ли? ведь это наш двор, есть межа, неужели мы должны отступать 3 метра, это физически невозможно из - за того, что там уже соседский другой огород. Но мы же можем законно и окна ему позакрывать и балкон снести, да и всю его постройку.