Соседи обвинили нас в захвате территории после того, как они дали нам разрешение на использование участка

Так и пишите в объяснительной, что они сами забор убрали. Поставили забор. А не Вы это делали. В Ваших действиях нет состава административного правонарушения.

КоАП РФ Статья 2.1. Административное правонарушение

""1. Административным правонарушением признается противоправное, виновное действие (бездействие) физического или юридического лица, за которое настоящим Кодексом или законами субъектов Российской Федерации об административных правонарушениях установлена административная ответственность.

""2. Юридическое лицо признается виновным в совершении административного правонарушения, если будет установлено, что у него имелась возможность для соблюдения правил и норм, за нарушение которых настоящим Кодексом или законами субъекта Российской Федерации предусмотрена административная ответственность, но данным лицом не были приняты все зависящие от него меры по их соблюдению.

""3. Назначение административного наказания юридическому лицу не освобождает от административной ответственности за данное правонарушение виновное физическое лицо, равно как и привлечение к административной или уголовной ответственности физического лица не освобождает от административной ответственности за данное правонарушение юридическое лицо.