Как начальник ИУ может отказать осужденному и его родственникам оформить доверенность на продажу квартиры?

Да, вправе отказать. Он имеет такое право, но не обязанность (по оформлению доверенности). В соответствии с ч. 3 п. 3 ст. 185 ГК РФ к нотариально удостоверенным доверенностям приравниваются, в частности, доверенности лиц, находящихся в местах лишения свободы (МЛС), удостоверенные начальником соответствующего места лишения свободы.