Как защитить права на опеку над внуком при угрозе его забрать отцом?

У моей дочери в гражданском браке родился сын. Отец признал отцовство, что подтверждает соответствующий документ. Отношения не сложились, дочь рассталась с ним. Во время совместного проживания был взят совместный кредит, отец оформил его на себя, сейчас выплачивает сам, поэтому дочь не стала подавать на алименты. Но, в связи с нехваткой средств, была вынуждена уехать в Москву на заработки, оставив мне нотариально заверенный документ о том, что уполномочивает меня быть законным представителем сына, которому недавно исполнилось 3 года. Отец, узнав что матери нет в городе, пытается забрать у меня ребенка, мать против, но из Москвы ничего сделать не может, и приехать в данный момент проблематично. Вопрос - могу ли я как-то воспрепятствовать этому и не отдавать внука? Суда об определении места жительства ребенка не было, после расставания он остался проживать с матерью и со мной.