Фактически получается в субботу сын со мной, а воскресенье у бывшей жены, а все остальные будни у бывшей тещи.

Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решение вопросов получения ребенком образования.

Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию.

Родители вправе заключить в письменной форме соглашение о порядке осуществления родительских прав родителем, проживающим отдельно от ребенка.

Если родители не могут прийти к соглашению, спор разрешается судом с участием органа опеки и попечительства по требованию родителей (одного из них).

При невыполнении решения суда к виновному родителю применяются меры, предусмотренные гражданским процессуальным законодательством. При злостном невыполнении решения суда суд по требованию родителя, проживающего отдельно от ребенка, может вынести решение о передаче ему ребенка исходя из интересов ребенка и с учетом мнения ребенка (ст. 66 СК РФ).

Вам необходимо исковое заявление грамотно составить, возможно свидетелей потребуется привлечь или ещё что-то в этом роде. Вы сами должны определиться, как часто хотите и главное можете общаться с ребёнком и в какой форме и отстаивать эту позицию перед судом. Лучше всего вести процесс с помощью специалиста.