Развод, родственники и ребенок - как защитить свои права

Я состою в разводе в течение 9 лет, сын (11 лет) живет со мной. Бывший муж и его родители проживают в другом городе. Препятствий к общению их с ребенком я не ставила, однако особого желания не высказывала, поскольку расстались, к сожалению, в не самых хороших отношениях. Бывший муж платит алименты по исполнительному листу, к ребенку не приезжал и не виделся с ним уже в течение 5 лет. Бабушка и дедушка несколько раз писали нам, поздравили однажды с Днем Рождения сына (их внука), но общения между нами нет и желания приехать и пообщаться с ребенком они не высказывали. Мой адрес есть и у отца и у его родителей. Сегодня получаю информацию от представителей школы, где учится ребенок, что бабушка и дедушка разыскивают внука через милицию. Сын родственников фактически не помнит. Подскажите, пожалуйста, в случае обращения бабушки и дедушки в суд для определения времени общения с ребенком, могу ли я настаивать на встречах на нашей территории и невыезде ребенка в другой город? Он аллергик, требуется специальная диета и внимательный уход, которым его родственники вряд ли обеспечат... И еще один вопрос: является ли отсутствие желания отца видеться с ребенком в течение стольких лет и неучастиве его в воспитании ребенка существенным поводом для лишения родительских прав, при условии регулярной уплаты алиментов по исполнительному листу (алименты перечисляются бухгалтерией с его места работы)? Спасибо!