Проживают в кв.брат со своей семьей, занимая 2 комнаты, и мама в 3-ей, у них постоянные конфликты.

Вы ничего не сказали о себе, вы то где проживаете? Заставить собственника ( а ваш брат таковым является) продать или разменять свою долю в квартире вы не сможете.

В Вашей ситуации для Вас будет лучше, для начала определить порядок пользования жилой площадью, для этого необходимо обратиться в суд с соответствующим иском. Так как квартира трех комнатная, а собственников трое ( по 1/3 доли у каждого), то скорей всего суд определит каждому в пользование по комнате. Т.е. брат со своей семьей будет обязан занимать 1 комнату, ваша мама вторую комнату, а вы третью.

Определив такой порядок пользования и имея соответствующее решение суда, вам с мамой будет легче продать или разменять свою долю вместе и приобрести другое жилье. Например продав 2/3 доли в квартире ( а это будет больше чем у вашего брата) вы сможете приобрести себе отдельную однокомнатную квартиру. А брат будет в таком случае продолжать жить в трехкомнатной квартире с соседями "подселенцами"............ и возможно горько жалеть о том, что не разменял квартиру вместе с вами .

Попробуйте попугать для начала этим Вашего брата, ведь купить у Вас Вашу долю может кто угодно........... например цыганский табор или группа гастарбайтеров . Вряд ли такое соседство будет по душе вашему брату.