Можно ли выкупить 3/8 доли частного дома и оформить остальную часть на себя, если остальные собственники неизвестны и не являются владельцами уже более 15 лет?

Нельзя, судя по тексту, не будет правовых оснований - подписанной сторонами сделки по отчуждению (приобретению Вами) других долей в собственности. Равно как и права на подачу Вами заявления в суд по ст. 234 ГК РФ.