Возможно ли продать дом без согласия одного из собственников и выплатив ему 1/5 стоимости дома?

даже суд не лишит его собственности, продать без его согласия весь дом не получится. возможна лишь продажа принадлежащих вам долей с соблюдением права преимущественной покупки.

Статья 250. Преимущественное право покупки

ГК РФ

1. При продаже доли в праве общей собственности постороннему лицу остальные участники долевой собственности имеют преимущественное право покупки продаваемой доли по цене, за которую она продается, и на прочих равных условиях, кроме случая продажи с публичных торгов. Публичные торги для продажи доли в праве общей собственности при отсутствии согласия на это всех участников долевой собственности могут проводиться в случаях, предусмотренных частью второй статьи 255 настоящего Кодекса, и в иных случаях, предусмотренных законом.

2. Продавец доли обязан известить в письменной форме остальных участников долевой собственности о намерении продать свою долю постороннему лицу с указанием цены и других условий, на которых продает ее. Если остальные участники долевой собственности откажутся от покупки или не приобретут продаваемую долю в праве собственности на недвижимое имущество в течение месяца, а в праве собственности на движимое имущество в течение десяти дней со дня извещения, продавец вправе продать свою долю любому лицу.

3. При продаже доли с нарушением преимущественного права покупки любой другой участник долевой собственности имеет право в течение трех месяцев требовать в судебном порядке перевода на него прав и обязанностей покупателя.

4. Уступка преимущественного права покупки доли не допускается.

5. Правила настоящей статьи применяются также при отчуждении доли по договору мены.

Поэтому Вы все должны предложить свои доли брату письменно.Если он откажется, тогда можете продать свои доли другим лицам, но заставить продать долю брата не можете.