Как поступить, если после увольнения работодатель требует вернуть документы взамен на долг, превышающий заработную плату

Не совсем понятно какие документы вам не отдали и зачем Вы расписались, что их получили.

В любом случае работодатель не имел право удерживать ВСЮ заработную плату и расчет, ст. 138 ТК РФ -

Общий размер всех удержаний при каждой выплате заработной платы не может превышать 20 процентов, а в случаях, предусмотренных федеральными законами, - 50 процентов заработной платы, причитающейся работнику.

При удержании из заработной платы по нескольким исполнительным документам за работником во всяком случае должно быть сохранено 50 процентов заработной платы.

Ограничения, установленные настоящей статьей, не распространяются на удержания из заработной платы при отбывании исправительных работ, взыскании алиментов на несовершеннолетних детей, возмещении вреда, причиненного здоровью другого лица, возмещении вреда лицам, понесшим ущерб в связи со смертью кормильца, и возмещении ущерба, причиненного преступлением. Размер удержаний из заработной платы в этих случаях не может превышать 70 процентов.

Не допускаются удержания из выплат, на которые в соответствии с федеральным законом не обращается взыскание.

это если не вдаваться в подробностии в связи, с чем образовалась задолженность и насколько правомерно работодатель ее считал.

ваша ошибка в том, что Вы расписались в получении документов (видимо трудовой книжки), в таком случае вам будет очень сложно доказать, что Вам ее не отдали.

По удержанному расчету смело обращайтесь в суд и требуйте взыскать его с работодателя, заодно требуйте вернуть документы.

Расчет вам вернут 100%, а вот с документами все неоднозначно.