Как отчислиться по собственному желанию с бюджета, если есть задолженности по учебе?

Лучше по собственному. Однако это может и не иметь никакой разницы. Надо смотреть локальные акты ВУЗа на этот счет.

Федеральный закон от 29.12.2012 N 273-ФЗ (ред. от 03.08.2018) "Об образовании в Российской Федерации"

Статья 30. Локальные нормативные акты, содержащие нормы, регулирующие образовательные отношения

1. Образовательная организация принимает локальные нормативные акты, содержащие нормы, регулирующие образовательные отношения (далее - локальные нормативные акты), в пределах своей компетенции в соответствии с законодательством Российской Федерации в порядке, установленном ее уставом.

2. Образовательная организация принимает локальные нормативные акты по основным вопросам организации и осуществления образовательной деятельности, в том числе регламентирующие правила приема обучающихся, режим занятий обучающихся, формы, периодичность и порядок текущего контроля успеваемости и промежуточной аттестации обучающихся, порядок и основания перевода, отчисления и восстановления обучающихся, порядок оформления возникновения, приостановления и прекращения отношений между образовательной организацией и обучающимися и (или) родителями (законными представителями) несовершеннолетних обучающихся.

3. При принятии локальных нормативных актов, затрагивающих права обучающихся и работников образовательной организации, учитывается мнение советов обучающихся, советов родителей, представительных органов обучающихся, а также в порядке и в случаях, которые предусмотрены трудовым законодательством, представительных органов работников (при наличии таких представительных органов).

4. Нормы локальных нормативных актов, ухудшающие положение обучающихся или работников образовательной организации по сравнению с установленным законодательством об образовании, трудовым законодательством положением либо принятые с нарушением установленного порядка, не применяются и подлежат отмене образовательной организацией.