Проблемы с бывшим мужем - отказ от передачи ключей и оформление долей в квартире

У меня такая ситуация: с мужем приобрели квартиру в ипотеку в августе 2015 г. Стоимость квартиры 1 100 000 руб., оплачено мат. капиталами 453 026+130 000=583 026 руб., на сегодня бывшем мужем выплачено по ипотеке 65 000 руб. Я была в декретном отпуске, вышла на работу с 08.08.2016 А 01.08.2016 мы расторгли брак. Я и мои трое детей прописаны в данной квартире. Бывший муж прописан у своей матери. Оформлена долевая собственность: у мужа и у меня по 1/2 доли, также лежат соглашения нотариально заверенные в ПФР о том, что как снимется обременение по квартире (ипотека), то собственность будет переоформлена на 5 человек (на всю семью). а данный момент у меня такая проблема: муж не хочет отдавать ключи от квартиры, ссылаясь на то, что они ему нужны, чтобы видеться с детьми (дети посещают дет. сад!?) Т.е. когда я на работе, он приходит и лазиет в моих вещах, ест продукты, которые предназначены для детей и всем пользуется. Я переживаю за сохранность своих вещей, я не могу из-за этого наладить личную жизнь. Соглашение на переоформление ипотеки на меня отказывается оформлять. Мой доход позволяет мне платить ипотеку. Помогите, пожалуйста!