Или нам действительно нужно обращаться только в суд, чтобы его расторгнуть?

Наталья, здравствуйте! Этот пункт, который озвучен Вами, не соответствует закону. Отказаться в любое время от договора безвозмездного пользования можно только в том случае, если договор заключен на неопределенный срок. То есть, без указания срока. А вот отказаться от договора с указанием срока может лишь ссудополучатель (бывшая супруга брата). Прежде, чем заключать такой договор с указанием срока, нужно было бы проконсультироваться с юристами. Полагаю, что бывшая супруга брата знает об этом, поэтому и не идет на контакт.

Расторжение (не отказ) договора ссуды (безвозмездного пользования) возможно лишь по основаниям, прямо указанным в законе.

ГК

Статья 698. Досрочное расторжение договора безвозмездного пользования

1. Ссудодатель вправе потребовать досрочного расторжения договора безвозмездного пользования в случаях, когда ссудополучатель:

использует вещь не в соответствии с договором или назначением вещи;

не выполняет обязанностей по поддержанию вещи в исправном состоянии или ее содержанию;

существенно ухудшает состояние вещи;

без согласия ссудодателя передал вещь третьему лицу.

2. Ссудополучатель вправе требовать досрочного расторжения договора безвозмездного пользования:

при обнаружении недостатков, делающих нормальное использование вещи невозможным или обременительным, о наличии которых он не знал и не мог знать в момент заключения договора;

если вещь в силу обстоятельств, за которые он не отвечает, окажется в состоянии, непригодном для использования;

если при заключении договора ссудодатель не предупредил его о правах третьих лиц на передаваемую вещь;

при неисполнении ссудодателем обязанности передать вещь либо ее принадлежности и относящиеся к ней документы.

Статья 699. Отказ от договора безвозмездного пользования

1. Каждая из сторон вправе во всякое время отказаться от договора безвозмездного пользования, заключенного без указания срока, известив об этом другую сторону за один месяц, если договором не предусмотрен иной срок извещения.

2. Если иное не предусмотрено договором, ссудополучатель вправе во всякое время отказаться от договора, заключенного с указанием срока, в порядке, предусмотренном пунктом 1 настоящей статьи.

Пробуйте обращаться в суд, предварительно уведомив бывшую супругу брата об отказе от договора, возможно, при ее неграмотной позиции , и можно будет выиграть дело...

С уважением,

Харченко О.В.