Как закрыть ИП, имеющего оформленный кредит?

Закрывайте, в налоговой Ваш кредит не интересен.

Обращайтесь в налогову с заявлением по форме, платите государственную пошлину и прекращайте ИП. Кредит тут не причем.

перевести долг на другого должника

Согласно ч. 1 ст. 22.3 Федерального закона от 08.08.2001 N 129-ФЗ

"О государственной регистрации юридических лиц и индивидуальных предпринимателей":

Государственная регистрация при прекращении физическим лицом деятельности в качестве индивидуального предпринимателя в связи с принятием им решения о прекращении данной деятельности осуществляется на основании представляемых в регистрирующий орган следующих документов:

а) подписанного заявителем заявления о государственной регистрации по форме, утвержденной уполномоченным Правительством Российской Федерации федеральным органом исполнительной власти;

(в ред. Федерального закона от 23.07.2008 N 160-ФЗ)

б) документа об уплате государственной пошлины;

в) документ, подтверждающий представление в территориальный орган Пенсионного фонда Российской Федерации сведений в соответствии с подпунктами 1 - 8 пункта 2 статьи 6 и пунктом 2 статьи 11 Федерального закона "Об индивидуальном (персонифицированном) учете в системе обязательного пенсионного страхования" и в соответствии с частью 4 статьи 9 Федерального закона "О дополнительных страховых взносах на накопительную часть трудовой пенсии и государственной поддержке формирования пенсионных накоплений". В случае, если предусмотренный настоящим подпунктом документ не представлен заявителем, указанный документ (содержащиеся в нем сведения) предоставляется по межведомственному запросу регистрирующего органа соответствующим территориальным органом Пенсионного фонда Российской Федерации в электронной форме в порядке и сроки, которые установлены Правительством Российской Федерации.

(пп. "в" введен Федеральным законом от 19.07.2007 N 140-ФЗ, в ред. Федеральных законов от 30.04.2008 N 55-ФЗ, от 27.07.2010 N 227-ФЗ, от 03.12.2011 N 383-ФЗ)

Банк к этому отношение не имеет. Даже если Вы прекратите деятельность в качестве ИП в добровольном порядке кредит у Вас все равно останется.