Как поступить в ситуации с неправомерными действиями коллекторов и требованиями к возврату долга

Как правильно поступить! В общем ситуация такая: Перед новым 2013 годом в конце декабря брал займ на сумму 5000 руб. должен был отдать по договору 6400 руб. через 14 дней, но после Нового Года получилась беда с работой и пришлось искать новую работу и задолженность во время погасить не смог! В начале Марта 2013 г. начал звонить молодой человек и крыть меня матом, угрожать расправой, требовал чтобы я отдал долг в размере 12500 руб. Я ему объяснил что только устроился на работу и могу заплатить только через месяц, на что он продолжил угрожать и сказал что пробил номера моих соседей и что будет им звонить днем и ночью и не даст спокойно жить но я сказал что отдам через месяц и с этого момента он начал звонить всем соседям днем и ночью и требовал меня, потом нашел где-то номер моей девушки и стал ей звонить, в общем достал всех! Мама моей девушки подала заявление в милицию на хулиганство по телефону, меня вызывали на допрос и я все рассказал милиции, дал его сотовый номер телефона с которого он звонит! В общем через некоторое время милиция перезвонила маме моей девушки и сказали что номер с которого звонит этот товарищ зарегистрирован на человека которого уже нет в живых и сказали чтобы я сам разбирался с этой ситуацией. А он этот плохой человек так и продолжает звонить! Так-вот у меня сейчас наскреб сумму в размере 6400 руб. и я хочу им ее заплатить а остальные которые они накрутили в виде штрафов и процентов я платить не хочу! Как мне по закону можно не платить в этой ситуации штрафы и пени а заплатить лишь только что я должен был отдать с самого начала, то есть 6400 руб? И вообще что делать в этой ситуации если даже милиция не может помочь? Со мной даже девушка хочет расстаться из-за этого гада а я хотел на ней жениться! Подскажите пожалуйста!