Новые соседи грозят судом из-за стены на участке - каковы наши перспективы в суде?

Дом построен в 2007 году. Стена дома находится на меже вместо забора. Сосед покупая соседний участок видел, что стена дома вместо забора (полагаю что раз он купил участок то его всё устраивало). Документы на дом у нас оформлены. Теперь сосед передумал строиться и хочет перепродать участок но никого из покупателей не устраивает что межой является стена нашего дома так как невозможно сделать нормальный отступ для строительства нового дома. Сосед по сути предъявил ультиматум - или соглашайтесь на отступ менее 3 метров или я вас через суд снесу как самовольную постройку, так как дом от межи должен быть с отступом менее 3 метра. У нас это единственное жилье. Какие перспективы в суде?

История следующая:

Когда то участок на котором теперь наш дом, был площадью 7 соток. Бывший собственник участка (ныне покойная) дала согласие построить на этом участке дом предыдущим его владельцам (у которых купили его мы). Согласие было оформлено простой распиской. На дом было получено свидетельство о праве собственности в 2007 г на основании договора купли-продажи (очевидно была сделка что якобы этот дом и купили у этой владелицы большого участка). Участок перед этим был размежеван на два, один из которых стал вместе с вновь построенным домом принадлежать новым хозяевам, а другой остался у прежней хозяйки прежнего большого участка. При этом и получалось что было дано согласие что межой будет стена вновь построенного дома. Но выяснилось что при строительстве дома его хозяева заступили на территорию соседа 20 см этой самой стеной. Перед оформлением сделки купли-продажи этого дома между с нами участок был вновь перемежеван с согласия собственника соседнего участка, т.е. собственникам нового дома с согласия собственника соседнего участка отошли эти самые 20 см по всей стене дома, а соответственно за счет уменьшения площади участка за домом, т.е. без уменьшения общих площадей обоих участков. То есть получается что согласие что дом на меже есть. Лично у нас этих согласий нет, мы ж не строили этот дом, а покупали уже с правильным межеванием, как добросовестные приобретатели.

Теперь новые собственники соседнего участка предъявляют нам претензии что у дома нет отступа от межи. И что если мы не дадим им согласие на стройку с отступом менее 3 метра от межи (то есть по сути от стены) то они через суд снесут наш дом так как он с нарушением отступа. Но ведь предыдущие хозяева дали согласие на такую стройку. И дали его тоже не нам, а предыдущим хозяевам этого дома у которого стена по меже. Какие наши перспективы в суде?