Как лишить брата наследства, если он не помогал отцу и я его никогда не видел?

Боюсь огорчить, но вряд ли у Вас это получится. По крайней мере, по изложенному в вопросе. Согласно п. 1 ст. 1117 ГК РФ, не наследуют ни по закону, ни по завещанию граждане, которые своими умышленными противоправными действиями, направленными против наследодателя, кого-либо из его наследников или против осуществления последней воли наследодателя, выраженной в завещании, способствовали либо пытались способствовать призванию их самих или других лиц к наследованию либо способствовали или пытались способствовать увеличению причитающейся им или другим лицам доли наследства, если эти обстоятельства подтверждены в судебном порядке. Однако граждане, которым наследодатель после утраты ими права наследования завещал имущество, вправе наследовать это имущество. Не наследуют по закону родители после детей, в отношении которых родители были в судебном порядке лишены родительских прав и не восстановлены в этих правах ко дню открытия наследства. Согласно п. 2 той же статьи, по требованию заинтересованного лица суд отстраняет от наследования по закону граждан, злостно уклонявшихся от выполнения лежавших на них в силу закона обязанностей по содержанию наследодателя.

Как видите, исковые требования о признании недостойным наследником и отстранении от наследования по завещанию не подлежат удовлетворению, если истцом не представлено доказательств совершения ответчиком умышленных действий (подтвержденных приговором или решением суда), приведших к ухудшению состояния здоровья наследодателя, либо наличия у ответчика алиментных обязательств по содержанию нетрудоспособного наследодателя, которые им должным образом не исполнялись (опять же, подтвержденных решением суда о взыскании алиментов на содержание родителя, например). На том же стоит и сложившаяся судебная практика по делам данной категории.