Работодатель требует вернуть аванс, несмотря на замороженный проект. Законно ли это?

Я аниматор-фрилансер, подписала договор с заказчиком. Он выдал мне аванс 20 000 руб., которые должны были погашаться работой над проектом "Оркестр". В процессе мне урезали объем работы с 41 до 17 секунд, а потом проект заморозили. Работодатель дал мне другой заказ (не связанный с "Оркестром"), сначала предлагал 2500–3000 руб./сек, потом ему не понравилась моя скорость работы и он сказал что найдет кого нибудь другого. Спустя 2–3 недели он пришел и сказал что не искал никого и предложил взяться еще раз, но снизил ставку до 1500 руб./сек - то есть за все 14 секунд я дай бог получу 21 к - мне деньги все еще нужны и я согласилась. Теперь он заявляет, что заберет 20 000 руб. в счет долга без моего согласия, не предупредив а просто поставив перед фактом, и пришлось согласится, договорившись что он подпишет договор что он не имеет ко мне предъявы. В договоре (основном) четко указано, что займ возвращается только работой над "Оркестром" (там есть приложение к договору с тз, где указаны ссылки на сценарий и референсы персонажей, что не двусмысленно дает понять что тз относится к конкретному проекту, а не любому проекту студии) или деньгами. Также он грозит судом. Насколько законны его требования? Может ли он требовать неустойку, если сам не искал замену 2–3 недели? (в случае если на пример заказчик потребует ее за срывание сроков) Могу ли я настаивать, что долг погашу, когда проект разморозят (или верну деньги, если он окончательно закроется)? и что угрозы судом ему не выгодны/он не прав что угрожает этим договором с новым заказом, не имеющим ничего общего с оркестром?