Соседские споры о постройках - как разрешить конфликт и избежать судебного разбирательства?

Я по незнанию норм строений и т. д. построил по границе с соседнимучастком гараж баню и беседку под одну крышу со своим домом. Через некоторое время появился сосед этого участка. Объяснив мне что я не прав в постройках я понел свою вину и хотел снести и передвинуть все стены на 1 метр как положено. Но он сказал что не нужно сносить и дал мне расписку что разрешает. Через определенное время меня постоянно этим потыкает и шантажирует что подаст на меня в суд. мне все это надоело что мне делать. Может самому мне подать в суд чтоб раз и навсегда разрешить эту ситуация но боюсь что я буду не прав что мне делать.