Какие права имеет гражданский муж после смерти наследодателя и как его выселить из наследуемой квартиры?

При жизни моя мама приобрела квартиру в ипотеку (большая часть денег которые пошли на первоначальный взнос на квартиру она получила в наследство), где главным кредитором по ипотеке выступала она, свид. О праве на квартиру было на ней, а ее гражданский муж пошел как со заемщиком. После смерти мамы мы с братом приняли данную квартиру по наследству с обременением по 1/2 (свид. О праве собственности на нас с братом) и стали главными кредиторами, а гр. муж так и остался со заемщиком (банк его из договора не убрал). В данной квартире проживали мама, брат и гр.муж. После смерти мамы мы решили, что гр. муж останется проживать с братом в отдельной комнате, пока он не найдет себе жилье (не по человечески выгонять человека у которого нет крыши над головой). Прописан гр. муж в другой квартире (которая так же перешла нам с братом по наследству 1/2). За ипотеку, коммунальные платежи и др. расходы по данной квартире оплачиваем мы с братом, при жизни мамы в квартире производился ремонт на деньги брата и на мамины (от продажи наследства). На сегодняшний день стало не возможно с ним жить, у брата и у гр. мужа мамы начались конфликты в плоть до драк. Попросили уйти, но гр.муж не желает уходить и решил подать на нас с братом в суд, для того что бы мы выделили ему квадратные метры с квартиры, т.к. он имеет на нее право. Правомерны ли его действия, как его выгнать?