Или просто выгнать из дома но он начинает скандал и кричит что он здесь прописан и никуда от сюда не уйдет!

Кирилл, если квартира предоставлена по договору социального найма жилого помещения, то выселить члена семьи нанимателя можно по ст.91 ЖК РФ:

Статья 91. Выселение нанимателя и (или) проживающих совместно с ним членов его семьи из жилого помещения без предоставления другого жилого помещения

1. Если наниматель и (или) проживающие совместно с ним члены его семьи используют жилое помещение не по назначению, систематически нарушают права и законные интересы соседей или бесхозяйственно обращаются с жилым помещением, допуская его разрушение, наймодатель обязан предупредить нанимателя и членов его семьи о необходимости устранить нарушения. Если указанные нарушения влекут за собой разрушение жилого помещения, наймодатель также вправе назначить нанимателю и членам его семьи разумный срок для устранения этих нарушений. Если наниматель жилого помещения и (или) проживающие совместно с ним члены его семьи после предупреждения наймодателя не устранят эти нарушения, виновные граждане по требованию наймодателя или других заинтересованных лиц выселяются в судебном порядке без предоставления другого жилого помещения.

2. Без предоставления другого жилого помещения могут быть выселены из жилого помещения граждане, лишенные родительских прав, если совместное проживание этих граждан с детьми, в отношении которых они лишены родительских прав, признано судом невозможным.

Надо, чтобы наймодатель сделал предупреждение брату обязательно в письменном виде, чтобы он прекратил использование жилого помещения не по назначению, нарушать права и интересы проживающих с ним лиц и соседей. Желательно подтверждение из милиции, что на брата неоднократно писались заявления и какие-то результаты были приняты. Подать иск в суд о выселении может только наймодатель.