Как правильно отказаться от поручительства?

вас просят быть поручителем? - не соглашайтесь.

или вы уже поручитель по кредиту у кого и подписали договор?

ст.367 ГК РФ - почитайте

Вся процедура по замене поручителя выглядит приблизительно так:

Поручитель пишет уведомление банку и заёмщику о желании расторгнуть договор поручительства. Указывая обоснованную причину такого решения, поручитель может предлагать и варианты решения данной проблемы.

Если заёмщик согласен, тогда он пишет на имя руководителя кредитного комитета банка ходатайство о замене поручителя и прикладывает к нему все документы, необходимые для рассмотрения этого вопроса (уведомление поручителя о расторжении договора, повторно заполненное заявление-анкету, паспорт нового Поручителя и его копию, документы, подтверждающие финансовое состояние будущего Поручителя и пр.)

Кредитный комитет рассматривает данный вопрос и если принимается положительное решение, то начинается процедура переоформления поручительства.

Подписывается договор поручительства с новым поручителем и возможно доп. соглашение по кредитному договору с заёмщиком

А чтобы ваш договор поручительства не остался в силе, вам обязательно надо получить от банка документ, подтверждающий расторжение договора со стороны банка и заёмщика. Он может быть оформлен в виде дополнительного соглашения или простого уведомления об его расторжении. Этот документ как раз многие банки как-бы "забывают" выдать поручителю.