Незаконное использование земли для создания клумбы - возможные последствия и реакция соседей

Я проживаю в черте города в частном секторе. Напротив моего дома есть заброшенное поле. С этого поля я снял верхний слой земли (дёрн) и перевёз к своему забору для того, чтобы сделать клумбу вдоль этого забора. Предполагаемая клумба находится за чертой моего участка, т.е. за забором. Соседи возмущаются и угрожают судом. Что мне грозит?