Если он расторгает договор, могу ли не отдавать ему их до срока истечения догоора.

Вообще-то это напрямую не запрещено. Но вот внесение в договор такого условия явно свидетельствует о сделке, совершенной с целью, явно противоречащей основам правопорядка (ст. 169 ГК РФ). Дело в том, что заключение сделки в письменной форме означает наличие правоустанавливающих документов у каждой из сторон сделки, возврат документов означает фактическую невозможность предъявлять какие-либо претензии к другой стороне, а если еще сделка подпадает под налогообложение, то и невозможность проверки ее с точки зрения налогообложения. А в соответствии с действующим законодательством в отношении организаций это вообще недопустимо - они обязаны хранить указанный документ.

Относительно неустойки - пожалуйста, можете обусловить в договоре право одностороннего расторжения обязанностью выплатить неустойку (отступное) в определенном размере.

А вот относительно документов - при расторжении договора документы должны быть возвращены, они выдаются только на срок действия договора, прекращение договора означает возникновение обязанности возвратить указанные документы. Но если у Вас в договоре будет записано условие о неустойке, можете дополнительно прописать условие о возврате документов не до истечения указанного в договоре срока, а до выплаты неустойки.