Кто их будет выплачивать или просто будет копиться долг?

При злостном уклонении от уплаты алиментов ему грозит уголовная ответственность:

Статья 156. Неисполнение обязанностей по воспитанию несовершеннолетнего Неисполнение или ненадлежащее исполнение обязанностей по воспитанию несовершеннолетнего родителем или иным лицом, на которое возложены эти обязанности, а равно педагогом или другим работником образовательного, воспитательного, лечебного либо иного учреждения, обязанного осуществлять надзор за несовершеннолетним, если это деяние соединено с жестоким обращением с несовершеннолетним, - наказывается штрафом в размере до сорока тысяч рублей или в размере заработной платы или иного дохода осужденного за период до трех месяцев, либо лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет, либо обязательными работами на срок до ста восьмидесяти часов, либо исправительными работами на срок до одного года, либо ограничением свободы на срок до трех лет.

Статья 157. Злостное уклонение от уплаты средств на содержание детей или нетрудоспособных родителей

1. Злостное уклонение родителя от уплаты по решению суда средств на содержание несовершеннолетних детей, а равно нетрудоспособных детей, достигших восемнадцатилетнего возраста, - наказывается обязательными работами на срок от ста двадцати до ста восьмидесяти часов, либо исправительными работами на срок до одного года, либо арестом на срок до трех месяцев.2. Злостное уклонение совершеннолетних трудоспособных детей от уплаты по решению суда средств на содержание нетрудоспособных родителей - наказывается обязательными работами на срок от ста двадцати до ста восьмидесяти часов, либо исправительными работами на срок до одного года, либо арестом на срок до трех месяцев.

Если у него имеется в собственности недвижимое имущество, то взыскание может быть обращено на данное имущество.