Мама умерла, не оформив дом в свою собственность. Как можно оформить дом и участок?

Если она являлась собственником, то не зарегистрировала в установленном порядке свое право собственности, то оформить наследство на это имущество возможно только в судебном порядке (п. 8 Постановления Пленума Верховного Суда Российской Федерации от 29 мая 2012 г. N 9 г. Москва "О судебной практике по делам о наследовании"):

8. При отсутствии надлежаще оформленных документов, подтверждающих право собственности наследодателя на имущество, судами до истечения срока принятия наследства (статья 1154 ГК РФ) рассматриваются требования наследников о включении этого имущества в состав наследства, а если в указанный срок решение не было вынесено, - также требования о признании права собственности в порядке наследования. В случае, если требование о признании права собственности в порядке наследования заявлено наследником в течение срока принятия наследства, суд приостанавливает производство по делу до истечения указанного срока.

То есть если срок принятия наследства (6-месячный) еще не прошел, обращайтесь в суд с иском о включении имущества в состав наследства. Если срок уже вышел, или даже получено постановление нотариуса об отказе в выдаче свидетельства о праве на наследство - тогда в суд с иском о признании права собственности в порядке наследования.