На момент смерти мамы он был совершеннолетним, с момента смерти мамы прошло уже 5 лет.

Здравствуйте Ирина! Если Вы были прописаны на день смерти с мамой, то Вы фактически приняли наследство, поэтому Вам и нотариус говорит, чтобы вы вступали в наследство, т.к. отказаться от своей доли могли только до истечении 6 месяцев. Брат не был прописан на день смерти мамы, поэтому он и отказывается от доли в наследстве или ему нужно через суд восстанавливать срок принятия наследства.