Как защитить свои интересы и разрешить спор с заимодавцем?

Как мне поступить правильно в следующей ситуации. Дело в том, что я в июне прошлого года занимала 50 тыс, до марта 2017 года, писала расписку, что верну 83 тыс, между мной и моим заимодавцем был заключен договор. Заимодавец обыкновенное физическое лицо, не организация... Поначалу я ему выплачивала по 8-10 тыс. Попросила с него расписку, он отказался мне её предоставить. На что в ответ я ему сказала, пока не будет расписки, не будет и денег. Я как-то уезжала в другой город к родителям, просила у него номер карты, чтобы перечислить ему сумму долга, он отказался мне её дать. Тогда предложила, что моя подруга ему передаст, но мне нужна расписка, что он,соответственно, сделать отказался. В итоге несколько дней он не хотел писать мне расписку. Я обращалась к адвокату, что мне делать в данной ситуации. Расписку он не даёт,а в ответ говорит, что будет начислять проценты за просроченные дни. На что я ему говорила, что пиши расписку деньги отдам, нет расписки-нет денег. Адвокат посоветовала мне не отдавать деньги в любом случае без расписки. Конечно, что я и сделала. Я ему предложила решать тогда вопрос через суд. В итоге он приехал ко мне за деньгами, написал расписку. Далее дал номер карты. На неё я переводила деньги каждый месяц, чеки у меня есть. В смс сообщениях он писал, что деньги пришли на карту. Вместо 83 тыс он просил 120, потом пересчитал, сказал, ой,извини, ошибся,92 тыс откуда он берет такие космические цифры-непонятно. В итоге я ему стала перечислять по 3 тыс. Т.е.наглеешь ты,значит платить буду по стольку. Сейчас он хочет подавать на меня в суд. Сделать меня и моих детей невыездными. Чтобы я оплатила адвоката его и судебные расходы. Я готова выплатить ему 83 тыс но если это было бы по-человечески, а не так, что расписку просила написать неделю. А написал после того только, как узнал, что я пойду в суд. Откуда я могу знать, может, он специально это делал, чтобы насчитывать проценты. И ещё предлагал встретиться после 23:00 хотя прекрасно знает, у меня 2 маленьких детей, одних дома оставить их не могу, среди ночи куда-то ехать с ним на встречу с деньгами я не поеду. Потом то он куда-то уезжал, то работал. Скажите, пожалуйста, как мне защитить свои интересы. На что я имею право. Как мне себе помочь. Очень буду Вам благодарна!