Как избежать скандала и оформить законное проживание ребенка со мной?

Ситуация такая. С бывшем мужем в разводе. Общему ребенку 3 года с небольшим. Когда ей было 11 месяцев, он выставил меня за дверь, а с ребенком скрылся со съемной квартиры, где мы проживали на тот момент. Я обратилась в местные органы опеки с просьбой найти их. Но оказалось, что он обратился туда раньше и заявил, что я с ними не проживаю, здоровьем ребенка не интересуюсь, материально не помогаю и прочие гадости. Опека вынесла постановление, передать ребенка на воспитание отцу. При этом меня никто не проверял и никуда не вызывали. Постановление мне вручили и я написала заявление о том, что против проживания ребенка с отцом, но ничего не произошло. В течении 2 х лет бывший муж всячески скрывал от меня место жительства ребенка и на контакт не шел. С сентября прошлого года мне удалось найти с ним контакт, нашла путь примирения. Я ездила к ним в гости, сейчас и он привозит ее ко мне. НО. У них нет постоянного места жительства, ребенка не хочет отдавать в сад, знаю, что выпивает. В последний раз, а именно 4 февраля, он привез ее в гости, в другой город (мы проживаем в разных городах), абсолютно без вещей, т.е. что было на ней, в том и привез. Девочка со мной уже полтора месяца. Я начала оформлять ее в детский сад. Перевела в нашу поликлинику. И вчера бывший муж заявил, что заберет ее в эти выходные. Я обращалась в местные органы опеки, чтобы они проверили мои жилищные условия и выдали мне какую нибудь бумагу, что ребенок будет жить со мной, но мне отказали. Я хотела обратиться в суд, но это слишком долго... и там сказали, что по закону ребенок должен проживать со мной и если ему надо, то пусть он в суд и подает. Боюсь, что бывший супруг узнает о том, что я готовлюсь к тому, чтобы забрать дочку законным путем и снова скроется в неизвестном направлении. Если я сама ему сообщу, чтобы он подавал в суд и все решалось именно так, а до этого момента ребенок будет жить со мной, то он заявится по адресу нашего места жительства и будет скандалить. Вопрос следующий, как избежать этого скандала? В какие органы обращаться, если он заявится? Как вообще поступить? Ведь я, наверно, не имею права ему отказать забрать ребенка, он такой же родитель, так? Как поступить, подскажите, пожалуйста.