Оформление наследства при отсутствии завещания от матери - есть ли доля умершей матери в доме, завещанном отцом старшему брату?

Конечно есть доля матери в праве на дом. Даже если это имущество не было совместно нажитым, то мать наследовала обязательную долю в соответствии со ст.1149 ГК РФ

Статья 1149. Право на обязательную долю в наследстве

1. Несовершеннолетние или нетрудоспособные дети наследодателя, его нетрудоспособные супруг и родители, а также нетрудоспособные иждивенцы наследодателя, подлежащие призванию к наследованию на основании пунктов 1 и 2 статьи 1148 настоящего Кодекса, наследуют независимо от содержания завещания не менее половины доли, которая причиталась бы каждому из них при наследовании по закону (обязательная доля).

2. Право на обязательную долю в наследстве удовлетворяется из оставшейся незавещанной части наследственного имущества, даже если это приведет к уменьшению прав других наследников по закону на эту часть имущества, а при недостаточности незавещанной части имущества для осуществления права на обязательную долю - из той части имущества, которая завещана.

3. В обязательную долю засчитывается все, что наследник, имеющий право на такую долю, получает из наследства по какому-либо основанию, в том числе стоимость установленного в пользу такого наследника завещательного отказа.

4. Если осуществление права на обязательную долю в наследстве повлечет за собой невозможность передать наследнику по завещанию имущество, которым наследник, имеющий право на обязательную долю, при жизни наследодателя не пользовался, а наследник по завещанию пользовался для проживания (жилой дом, квартира, иное жилое помещение, дача и тому подобное) или использовал в качестве основного источника получения средств к существованию (орудия труда, творческая мастерская и тому подобное), суд может с учетом имущественного положения наследников, имеющих право на обязательную долю, уменьшить размер обязательной доли или отказать в ее присуждении.