Как разрешить конфликт с соседом по дачному участку с общим домом?

День добрый, при покупки дачного участка с домом выкупили дом с соседями: две квартиры и два участка из трех, из которых в целом состоит дом, наши. Оба участка записаны на меня, одна часть дома - тоже, вторая - на моего брата. С соседями (старушкой которая приезжает по-моему только на лето, сидит тихо и вообще практически не существует, мы ее не видим, не слышим) проблем нет. Пока жили с семьей, снесли стену - жили все вместе, все в доме расположено так, что это одно большое помещение, т.е. например ванная в его части дома, кухня в нашей, лестница на второй этаж - на его половине (хотя большая его часть находится именно НАД моей половиной) и т.д., никто ничего не делил. Сейчас с ним очень плохие отношения, он буйный, лезет чуть ли не в драку, кричит, устраивает скандалы, мешает спать - то с утра проснешься от его крика (ругается со своей семьей), то заснуть не может - кричат до утра - не уважает ни личное пространство, ни нормы вообще адекватного поведения. Приезжает только на лето и иногда в середине года. Хотелось бы чтобы он НЕ приезжал вообще, как бы это мой дом, мы тут живем круглогодично и т.д. Ситуацию с землей и собственностью описала. Что с этим можно сделать? Имеем ли мы право не пускать его в дом вообще, несмотря на то, что ему принадлежит его половина, на основании того, что она находится на нашей земле, и, вообще, законна ли такое положение дел с собственностью, и как с этим справится. Подозреваю, что он просто перегородит стеной свою часть дома ссылаясь на то, что это его. Но земля то наша.