Как решить вопрос с получением жилья для бывшего мужа, отслужившего 25 лет в армии по контракту?

У меня сложный вопрос возник, помогите как его решить, Мой бывший муж отслужил в армии по контракту 25 лет, теперь написал рапорт на увольнение и на получение жилья, жилищная комиссия ему в жилье отказала, написали, что не нуждается, а причину написали такую, что он может жить у меня в доме бессрочно. Дом приватизирован на меня и детей моих 15 лет назад, бывший муж на него прав не имеет, он только там прописан, развелись мы 4 года назад, унас с ним устная договоренность была, что он может жить в доме, до тех пор пока не получит сове жилье. Права ли комиссия по жилью отказав ему в этом, Адвокат на консультации сказал, что он должен сдать жилье в котором живет чтобы получить свое жилье, ну по сути у него нет жилья, только прописка, как можно сдать дом который оформлен на меня? Вообщем я не знаю что делать, такое чувство что все делается специально лишь бы лишить военнослужащих жилья, и еще если он выпишется то это будет считаться как намеренное ухудшение жилья, так сказал адвокат. Кто прав и что делать? Помогите в этом вопросе.