Сообщите, пожалуйста, могут ли власти из-за этого отобрть у меня участок?

Скорее всего нет. Формально участок может быть изъят, но по установленным в законе основаниям и с соблюдением соответствующей процедуры. Просто жалобы соседей не являются основанием для изъятия.

ГК РФ.

"Статья 284. Изъятие земельного участка, который не используется в соответствии с его целевым назначением

Земельный участок может быть изъят у собственника в случаях, когда участок предназначен для сельскохозяйственного производства либо жилищного или иного строительства и не используется для соответствующей цели в течение трех лет, если более длительный срок не установлен законом. В этот период не включается время, необходимое для освоения участка, а также время, в течение которого участок не мог быть использован по целевому назначению из-за стихийных бедствий или ввиду иных обстоятельств, исключающих такое использование.

Статья 285. Изъятие земельного участка, используемого с нарушением законодательства

Земельный участок может быть изъят у собственника, если использование участка осуществляется с грубым нарушением правил рационального использования земли, установленных земельным законодательством, в частности если участок используется не в соответствии с его целевым назначением или его использование приводит к существенному снижению плодородия сельскохозяйственных земель либо значительному ухудшению экологической обстановки.

Статья 286. Порядок изъятия земельного участка ввиду его ненадлежащего использования

1. Орган государственной власти или местного самоуправления, уполномоченный принимать решения об изъятии земельных участков по основаниям, предусмотренным статьями 284 и 285 настоящего Кодекса, а также порядок обязательного заблаговременного предупреждения собственников участков о допущенных нарушениях определяются земельным законодательством.

2. Если собственник земельного участка письменно уведомит орган, принявший решение об изъятии земельного участка, о своем согласии исполнить это решение, участок подлежит продаже с публичных торгов.

3. Если собственник земельного участка не согласен с решением об изъятии у него участка, орган, принявший решение об изъятии участка, может предъявить требование о продаже участка в суд.

"