Может ли непрописанная в доме сестра претендовать на долю матери и как получить ее, если дом не будет продан?

Может претендовать поскольку в силу закона она, как и Вы являетесь наследником первой очереди.

согласно ст. 1142 ГК РФ "Наследниками первой очереди по закону являются дети, супруг и родители наследодателя".

Однако, она будет иметь право наследования по закону не на всю 1/2 долю матери, а 1/4, как и Вы, если вас только двое наследников.

То обстоятельство, что Вы не будете продавать дом не лишает сестру права владения, пользования и распоряжения, полученной по наследству долей.

Если унаследованную долю выделить нельзя, то можно определить порядок пользования домом, в соответствии с полученной в порядке наследства долей.

Однако при открытии наследства Вы имеете преимущественное право предусмотренное ст. 1168 ГК РФ, согласно которой - " Если в состав наследства входит жилое помещение (жилой дом, квартира и тому подобное), раздел которого в натуре невозможен, при разделе наследства наследники, проживавшие в этом жилом помещении ко дню открытия наследства и не имеющие иного жилого помещения, имеют перед другими наследниками, не являющимися собственниками жилого помещения, входящего в состав наследства, преимущественное право на получение в счет их наследственных долей этого жилого помещения".

Согласно ст. 1170 ГК РФ "1. Несоразмерность наследственного имущества, о преимущественном праве на получение которого заявляет наследник на основании статьи 1168 или 1169 настоящего Кодекса, с наследственной долей этого наследника устраняется передачей этим наследником остальным наследникам другого имущества из состава наследства или предоставлением иной компенсации, в том числе выплатой соответствующей денежной суммы.

2. Если соглашением между всеми наследниками не установлено иное, осуществление кем-либо из них преимущественного права возможно после предоставления соответствующей компенсации другим наследникам".

Обратите внимание на основания предоставления преимущественного права, указанные в ст. 1168 ГК РФ, поскольку отсутствие регистрации и факт не проживание в наследуемом доме Вашей сестры не являются основанием для заявления о преимущественном праве, предусмотренным ст. 1168 ГК РФ.