Проблемы с регистрацией ребенка - Как решить ситуацию, когда бывший супруг хочет снять ребенка с прописки

Помогите пожалуйста разобраться со сложившейся ситуациее. Мы с мужем разведены 4 года тому назад, есть один общий ребенок 5 лет. Муж год тому назад женился и есть ребенок с другого брака. Мой сын прописан с бывшем мужем у его родителей. На данный момент муж хочет снятся с прописки что бы стать на учет к теще. Паспортный стол не дает разрешение снаться с прописки без сына, ссылаясь на то что ребенок не может быть прописан без родителей. А я не хочу его снимать с прописки, а он не хочет его ставить на учет куда прописывается. Кроме этого у него в собственности есть квартира. Подскажите как мне дальше действовать. Заранее спасибо!