Вопросы утраты прав на служебное жилье - нарушение прав несовершеннолетнего ребенка и возможное соглашение между бывшими супругами

В 2004 году муж получил служебное жилье от министерства обороны. Получил на себя, на меня, на нашу общую дочь и на моего сына от первого брака. Сын был вписан у него в личном деле, было указано, что он находится на его иждивении и признан членом его семьи. Я и мой сын до этого были прописаны у моих родителей, выписались и пропивались в подученную квартиру. А сейчас такая ситуация, стоит вопрос об утрате моих прав на данное жилье, автоматом и утрате прав моего сына на данное жилье, так как мы с мужем развелись, ни я ни сын не являемся членами семьи бывшего мужа. Но членом семьи остается наша общая дочь. В связи с чем у меня вопрос, не является ли это нарушением прав несовершеннолетнего ребенка (моего сына), так как теперь его прописать будет просто некуда, у моих родителей, где мы были прописаны ранее, теперь не позволяют нормы этого сделать, слишком много народу там прописано. И еще один момент, в ЖК есть пункт 4 ст. 31, который гласит, что бывший супруг утрачивает право пользования жилым помещением, если иное не прописано соглашением между бывшими супругами. Что это за соглашение? И применительно ли оно к моей ситуации? Бывший муж не возражает, чтобы мы проживали и пользовались данным жильем, вопросы встают у собственника жилья.