Как вытеснить экс-мужа из квартиры при оформленной долевой собственности и ипотеке?

У меня такая ситуация: с мужем приобрели квартиру (46 кв.м, 2-х комн.) в ипотеку в августе 2015 г. Стоимость квартиры 1 100 000 руб., оплачено мат. капиталами 453 026+130 000=583 026 руб., на сегодня бывшем мужем выплачено по ипотеке 65 000 руб. Я была в декретном отпуске, вышла на работу с 08.08.2016 А 01.08.2016 мы расторгли брак. Я и мои трое детей прописаны в данной квартире. Бывший муж прописан у своей матери (его доля там составляет 1/2, т.е. 30 кв.м). Оформлена долевая собственность: у мужа и у меня по 1/2 доли, также лежат соглашения нотариально заверенные в ПФР о том, что как снимется обременение по квартире (ипотека), то собственность будет переоформлена на 5 человек (на всю семью). а данный момент у меня такая проблема: муж не хочет отдавать ключи от квартиры, ссылаясь на то, что они ему нужны, чтобы видеться с детьми (дети посещают дет. сад!?) Т.е. когда я на работе, он приходит и лазиет в моих вещах, ест продукты, которые предназначены для детей и всем пользуется. Я переживаю за сохранность своих вещей, я не могу из-за этого наладить личную жизнь. Соглашение на переоформление ипотеки на меня отказывается оформлять. Мой доход позволяет мне платить ипотеку. Можно ли как-нибудь через суд выплатить ему его взносы за ипотеку в размере 65 000 руб. Закрывать комнату я не могу, тем самым ограничивая детей в пространстве. Помогите, пожалуйста!