Как решить спор с соседом о строительстве бани на земельном участке с заменой забора стеной сарая?

Проблема в следующем. Был приобретен участок с домом. На участке находится сарай, стена которого разделяет мой участок и соседний, т. е. стена сарая заменяет забор. Это зафиксировано на плане земельного участка. Хочу строить баню точно также, не отклоняясь от плана земельного участка, но сосед стал требовать, чтобы я отступил от его участка на один метр. Двадцать лет его устраивало, что сарай находится не на расстоянии в один метр от его участка, а теперь встал в позу. Поясню, что участок спланирован таким образом, что расстояние в один метр для меня очень нежелателен. Как мне быть в этой ситуации? Имеет ли значение то, что я не отклоняюсь от плана и хочу строить баню именно там, где находился сарай? Могу ли я выиграть суд, т. к. сосед им грозит? Спасибо.