Конфликт между супругами из-за выхода на улицу без ребенка

Ещё у нас проблема такая, что мы оба можем сходить погулять, так как мы вместе не живём, он живёт один, а я живу с дочкой и с мамой. Если хочу погулять, то прошу маму посидеть с дочкой, то есть оставляю её с мамой, а ни одну. А муж говорит, что я её бросаю одну и иду. Говорит, что лишит родительских прав, хотя лишать меня не за что абсолютно, ребёнок у меня, одет, накормлен и не обдилен вниманием.