На что он мне ответил что тогда подаст на меня в суд (повод так и не объяснил).

Вам нужно подать иск в суд о взыскании алиментов на ребенка согласно ст. 83 СК РФ.

Статья 83. Взыскание алиментов на несовершеннолетних детей в твердой денежной сумме

1. При отсутствии соглашения родителей об уплате алиментов на несовершеннолетних детей и в случаях, если родитель, обязанный уплачивать алименты, имеет нерегулярный, меняющийся заработок и (или) иной доход, либо если этот родитель получает заработок и (или) иной доход полностью или частично в натуре или в иностранной валюте, либо если у него отсутствует заработок и (или) иной доход, а также в других случаях, если взыскание алиментов в долевом отношении к заработку и (или) иному доходу родителя невозможно, затруднительно или существенно нарушает интересы одной из сторон, суд вправе определить размер алиментов, взыскиваемых ежемесячно, в твердой денежной сумме или одновременно в долях (в соответствии со статьей 81 настоящего Кодекса) и в твердой денежной сумме.

2. Размер твердой денежной суммы определяется судом исходя из максимально возможного сохранения ребенку прежнего уровня его обеспечения с учетом материального и семейного положения сторон и других заслуживающих внимания обстоятельств.

Также требуйте алименты на себя, согласно ст. 89 СК РФ.

Статья 89. Обязанности супругов по взаимному содержанию

1. Супруги обязаны материально поддерживать друг друга.

2. В случае отказа от такой поддержки и отсутствия соглашения между супругами об уплате алиментов право требовать предоставления алиментов в судебном порядке от другого супруга, обладающего необходимыми для этого средствами, имеют:

ЖЕНА В ПЕРИОД БЕРЕМЕННОСТИ И В ТЕЧЕНИИ ТРЕХ ЛЕТ СО ДНЯ РОЖДЕНИЯ ОБЩЕГО РЕБЕНКА.

А развод без вашего согласия ему не дадут, так как у Вас маленький ребенок.

Рекомендую Вам обратиться к специалисту что бы грамотно составить исковое заявление и максимально увеличить шансы выйграть дело! Удачи Вам!