Есть ли какая-нибудь правовая возможность ему жить в моей квартире.

"Владение и пользование имуществом, находящимся в долевой собственности, осуществляются по соглашению всех ее участников, а при недостижении согласия - в порядке, устанавливаемом судом." Ст. 247 ГК РФ.

Вам следует обратиться в суд с иском об определении порядка пользования квартирой. Действующее законодательство не ограничивает право собственника передавать выделенную ему в пользование долю общего имущества в аренду или безвозмездное пользование.

Согласно ст. 209 ГК РФ "Собственник вправе по своему усмотрению совершать в отношении принадлежащего ему имущества любые действия, не противоречащие закону и иным правовым актам и не нарушающие права и охраняемые законом интересы других лиц".

"Гражданин - собственник жилого помещения может использовать его для личного проживания и проживания членов его семьи. Жилые помещения могут сдаваться их собственниками для проживания на основании договора". ст 288 ГК РФ

Проживание вашего брата в квартире с Вашим бывшим мужем, если при этом соблюдаются нормы жилой площади на одного человека, не нарушает права последнего, поэтому, законных оснований препятствовать после определения порядка пользования квартирой проживанию в ней иных лиц по договору с собственником, по моему мнению, не имеется.