Бывший муж хочет делить ребенка на неделю, но я беспокоюсь о его развитии - как поступить?

Мы с мужем в разводе с 2009 г, у нас есть совместный ребенок, который живет со мной. В данный момент я вышла замуж и мы живем втроем. Сейчас бывший муж хочет подать на меня в суд, что бы делить (как он выражается) ребенка, что бы ребенок был у меня неделю и у него неделю. Я против этого. Потому что ребенок очень сложный, гиперактивный, наблюдается у нервопатолога, поздно стал говорить, и до сих пор некоторые слова даются тяжело, и предложение правильно поставить ему трудно. Я с ним занимаюсь, в садике логопед и психолог с ним занимается. Но когда он попадает к бывшему мужу, то там не происходит ни каких занятий, ребенок сразу же потом начинает себя вести просто неугомонно.. и развития с той стороны у ребенка не наблюдается. Он однажды уже посылал ко мне проверку из детского комитета, на что они сказали, что ребенок и вправду сильно геперактивный, и с ним надо где-то построже, а гдето и пряником. Почему он не может угомониться я не понимаю. Сам пр и этом раза 3 за год приезжал брать ребенка к себе, а в основном его всегда забирали бабушки. А теперь он хочет вообще в суд подать, что б ребенок у него был неделю.. Подскажите пожалуйста как мне быть в этой ситуации, т.к. я очень переживаю за развитие своего ребенка и не хочу что б он отставал от других детей в знаниях. Возможно ли не отдавать ребенка на неделю бывшему мужу.