Проблема с разделением имущества и доступом к квартире в случае развода

У меня такая ситуация: с мужем приобрели 2-х комн. Квартиру (46 кв.м.) в ипотеку в августе 2015 г. Стоимость квартиры 1 100 000 руб., оплачено мат. капиталами 453 026+130 000=583 026 руб., на сегодня бывшим мужем выплачено по ипотеке 65 000 руб. Я была в декретном отпуске, вышла на работу с 08.08.2016 А 01.08.2016 мы расторгли брак. Я и мои трое детей прописаны в данной квартире. Бывший муж прописан у своей матери (его доля там составляет 1/2, т.е. 30 кв.м.) Оформлена долевая собственность: у мужа и у меня по 1/2 доли, также лежат соглашения нотариально заверенные в ПФР о том, что как снимется обременение по квартире (ипотека), то собственность будет переоформлена на 5 человек (на всю семью). а данный момент у меня такая проблема: муж не хочет отдавать ключи от квартиры, ссылаясь на то, что они ему нужны, чтобы видеться с детьми (дети посещают дет. сад!?) Т.е. когда я на работе, он приходит и лазиет в моих вещах, ест продукты, которые предназначены для детей и всем пользуется. Я переживаю за сохранность своих вещей, я не могу из-за этого наладить личную жизнь. Соглашение на переоформление ипотеки на меня отказывается оформлять. Мой доход позволяет мне платить ипотеку. Можно ли как-нибудь через суд выплатить ему уплаченную сумму за ипотеку, взять обязательства по ипотеке на себя? На замок я не могу закрывать свою комнату-у меня трое детей, которых я не могу ограничивать в помещении. Помогите, пожалуйста!