Бывший муж требует отдать ребенка на месяц - боюсь лишения родительских прав

Мы с мужем в разводе 6 лет, алименты он платил всего 620 руб, 8-10 месяцев, потом я отказалась от них. На протяжении 6 лет он почти не помогает ребенку, зато подавал на меня в суд уже 2 раза. Первый раз подавал на лишение родительский прав у меня, делу ход не дали так как было все нормально дома и в саду. Второй раз он подавал на то что мало видит сына, на что суд назначил время видеться ему с сыном по выходным дням 2 раза в месяц. Порой Бывший муж не виделся с сыном 2-3 месяца. Даже не звонил. Сейчас сын пошел в школу живет со мной, по выходным то со мной, то с отцом проводит время. Ну на протяжении 3-4 месяцев были случаи что он его на выходные даже и не забирал. Деньгами помогает не особа хорошо. Не давно со мной произошел случай, я в гостях у подруги и не много выпила, пришла домой и уснула, а надо было идти в школу забирать ребенка. В итоге меня разбудил звонок в дверь и там стояла его учительница с группы продленного дня и сам сын. На следующий день меня вызвали к директору школы и там уже был его отец, мы разговаривали по поводу успеваемости ребенка, его поведении и о моем случае не забрав ребенка. Наша беседа ни чем не закончилась и мы решили ее продолжить после очередных выходных (суббота и воскресенье). В понедельник мы так же разговаривали с директором где его отец захотел у меня его забрать на пол года, а если я не соглашусь то он подаст на меня в суд на лишения прав. Мы с ним поговорили и я согласилась отдать его на месяц, но могу его забирать по своим выходным. Я работаю 4 дня с 10 до 21 часа, потом 2 дня выходных вот тогда я могу с ним видеться это так директор школы нам разрешил и указал. Директор сказал что если я не соглашусь на условия отца то школа будет подавать в комиссию на опеку. Вопрос: Я ни хочу своего сына отдавать его отцу даже на месяц, но боюсь комиссии по опеке над ребенком, лишат ли меня родительских прав из-за того что я один раз не забрала ребенка из школы? Побольше с моей стороны косяков не было.