Должна я отступить от границы для пристройки к дому или нет???

Здравствуйте! Уважаемые юристы, помогите определиться в соответствие с законом. Я совладелец дома и земельного участка. Участок 448 кв м. Не может быть разделен. Между предыдущими совладельцами сложился определённый порядок пользования. В результате участок условно разбили на 3 части и по условным внутренним границам поставили заборы. Я сейчас хочу пристроить к своей части дома комнату. Единственный для меня возможный вариант это сделать -- пристроить прямо по условной границе. Но совладельцы настаивают, чтобы я отступила от условной границы, т.е. от забора. Сразу оговорюсь, что соглашения о пользовании земельным участком настоящие совладельцы не заключали. В межевом плане на участок условные внутренние границы-заборы обозначены . Я обратилась к адвокату, она заявила, что порядок пользования участком сложился между предыдущими совладельцами, а между мной и настоящими совладельцами он не складывался! Другой юрист сказал, что порядок сложился, так как стоят заборы... Меня такое подвешенное положение озадачило. Ведь я владею долями в этом участке уже 7 лет!!! И заборы так стоят уже более 7 лет. Должна я отступить от границы для пристройки к дому или нет??? Может укажите статью ЗК или Федеральный закон или что еще... Помогите. Дошло до применения грубой силы........