Как защититься от преследования и угроз со стороны банка, если я не являюсь их клиентом?

Лучший вариант это обращение в Роскомнадзор, к заявлению приложите записи разговоров и номера телефонов, с которых Вам звонили, в качестве доказательства. Именно этот орган занимается всеми делами, связанными с обработкой ваших персональных данных, а работники банков и коллекторы очень часто нарушают Закон "О персональных данных".

В суд можете обратиться после действий Роскомнадзора (поросите в своем заявлении предоставить Вам информацию о проведенных мероприятиях), таким образом у Вас появится база для иска о взыскании морального ущерба.