Кто прав в споре об отказе от договора - клиент или исполнитель?

Всё верно понимаете.

Не все так просто! В общем случае отказ от договора в одностороннем порядке (если такая возможность допускается законом или самим договором) прекращает ваши обязательства, вытекающие из условий этого договора, на будущее время. От обязательств, которые у вас возникли в период, когда договор действовал (например, обязанность оплатить фактически выполненную по договору работу), вы не освобождаетесь.

Далее надо изучать конкретную ситуацию. Разумеется, исполнитель несет ответственность, в том числе материальную, за качество выполненных им работ: если работа выполнена некачественно, то он по вашему требованию обязан её за свой счет переделать или согласиться на уменьшение оплаты.

Но ваше утверждение, что, если вы направили исполнителю претензию, отказались от договора, то вы ему заведомо ничего не должны, не основано на законе.

Вы отказались от договора. Имеете полное право. В любой момент. Но. В соответствии со ст. 717 ГК РФ

Если иное не предусмотрено договором подряда, заказчик может в любое время до сдачи ему результата работы отказаться от исполнения договора, уплатив подрядчику часть установленной цены пропорционально части работы, выполненной до получения извещения об отказе заказчика от исполнения договора. Заказчик также обязан возместить подрядчику убытки, причиненные прекращением договора подряда, в пределах разницы между ценой, определенной за всю работу, и частью цены, выплаченной за выполненную работу.

Если же у Вас договор подпадает под действие Закона о защите прав потребителей, то в соответствии со ст. 32 данного закона

Потребитель вправе отказаться от исполнения договора о выполнении работ (оказании услуг) в любое время при условии оплаты исполнителю фактически понесенных им расходов, связанных с исполнением обязательств по данному договору.

То есть Вы должны что то выплатить подрядчику - как минимум его фактические расходы.