Как построить дом на земельном участке без притязаний наследников, не принявших свою долю?

77/100 доли жилого дома и двух земельных участков (20 и 46 соток с домом) досталисть по наследству и оформленны в собственность (живу и пользуюсь постоянно). 23/100 доли этого наследства приняты, но не оформлены (умер), прошло 4 года наследники умершего не приняли его долю до сих пор, и ничего не делают. Можно ли построить дом на одном из участков (20 соток-где нет дома) собственником без ущерба для себя (что бы не претендовали эти наследники) , и как это сделать?