Хотя, когда он остается со мной наедине, то проблем не бывает.

Сергей, консультация у нас получается больше психологическая, но это в таком вопросе даже и неплохо.

Ваш вопрос делится на две части: юридическую и психологическую.

Юридически, конечно, никаких подобных нормативов нет

Что касается психологии, то на то и существуют психологи, в т.ч. детские. Поговорите со специалистом, это ведь зависит от многих факторов. В любом случае ребенку лучше, спокойнее, когда рядом с ним ОБА (спокойных!) родителя. Если есть возможность договориться и два часа беседовать о каком-нибудь фильме или просто молчать - гуляйте пока вместе, если все еще очень остро и неприятно - продолжайте пока гулять во дворе. Все успокоится, появится к Вам доверие, ребенок подрастет - будет уже с ним один ходить и в зоопарк, и в цирк. Поверьте, жена потом будет только рада, что вы ее сможете освобождать на час-два-три, забирая ребенка с собой. У Вас сейчас задача - не реагировать на внешние раздражители и вырастить доверие к себе, как к хорошему, доброму, заботливому родителю. Это нелегко, но зато результат стоит усилий. Что до мамы и сестры - если они мудрые женщины, пусть потерпят хоть чуть-чуть, просто регулярно передают (через Вас) для ребенка игрушки или вещи, как-то еще показывают, что ребенок им не безразличен. ППотом как-нибудь во дворе вместе погуляете, а там глядишь и отпустит. Старайтесь всегда тушить костер, а не разжигать его.

Удачи.