Жена угрожает судом и тем, что запретит видеться с детьми, если не буду платить.

Вам нужно изменить соглашение (кстати, оно действиетльно только если заключено у нотариуса!). Если жена не согласна, то вам нужно это сделать в судебном порядке в связи с изменением материального положения.

А так - без этого жена может принудительно через суд исполнять соглашение.

СК РФ

Статья 101. Порядок заключения, исполнения, изменения, расторжения и признания недействительным соглашения об уплате алиментов

2. Соглашение об уплате алиментов может быть изменено или расторгнуто в любое время по взаимному согласию сторон.

Изменение или расторжение соглашения об уплате алиментов должно быть произведено в той же форме, что и само соглашение об уплате алиментов.

3. Односторонний отказ от исполнения соглашения об уплате алиментов или одностороннее изменение его условий не допускаются.

4. В случае существенного изменения материального или семейного положения сторон и при недостижении соглашения об изменении или о расторжении соглашения об уплате алиментов заинтересованная сторона вправе обратиться в суд с иском об изменении или о расторжении этого соглашения. При решении вопроса об изменении или о расторжении соглашения об уплате алиментов суд вправе учесть любой заслуживающий внимания интерес сторон.