Как распределяется наследство, если брат не оформил завещание на свою собственность перед смертью?

Вы не сообщили главного в своем вопросе - брат умер После открытия наследства или ДО открытия наследства....

Статья 1156 ГК РФ. Переход права на принятие наследства (наследственная трансмиссия)

1. Если наследник, призванный к наследованию по завещанию или по закону, умер после открытия наследства, не успев его принять в установленный срок, право на принятие причитавшегося ему наследства переходит к его наследникам по закону, а если все наследственное имущество было завещано - к его наследникам по завещанию (наследственная трансмиссия). Право на принятие наследства в порядке наследственной трансмиссии не входит в состав наследства, открывшегося после смерти такого наследника.

2. Право на принятие наследства, принадлежавшее умершему наследнику, может быть осуществлено его наследниками на общих основаниях.

Если оставшаяся после смерти наследника часть срока, установленного для принятия наследства, составляет менее трех месяцев, она удлиняется до трех месяцев.

По истечении срока, установленного для принятия наследства, наследники умершего наследника могут быть признаны судом принявшими наследство в соответствии со статьей 1155 настоящего Кодекса, если суд найдет уважительными причины пропуска ими этого срока.

3. Право наследника принять часть наследства в качестве обязательной доли (статья 1149) не переходит к его наследникам.