Что я могу в этой ситуации сделать, ведь по закону он отец и имеет право, но мне жалко сына, тот категорически не хочет этого.

Да, действиетльно отец, проживающий отдельно, имеет право видеть ребенка, общаться с ним. Но такое общение не должно наносить вред ребенку. Если это так, то можно в суде ограничить эти встречи, либо вообще запретить их.

Может это был временный каприз ребенка, а может и нет.

Поговорите с мужем, может не нужно забирать его, возможно лучше проводить встречи в привычной ребенку обстановке - у вас дома, рядом с домом на площадке и т.п.

Попробуйте тактично выяснить у ребенка, почему он не желает ехать к отцу.

СК РФ

Статья 66. Осуществление родительских прав родителем, проживающим отдельно от ребенка

1. Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решении вопросов получения ребенком образования.

Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию.

2. Родители вправе заключить в письменной форме соглашение о порядке осуществления родительских прав родителем, проживающим отдельно от ребенка.

Если родители не могут прийти к соглашению, спор разрешается судом с участием органа опеки и попечительства по требованию родителей (одного из них).

3. При невыполнении решения суда к виновному родителю применяются меры, предусмотренные гражданским процессуальным законодательством. При злостном невыполнении решения суда суд по требованию родителя, проживающего отдельно от ребенка, может вынести решение о передаче ему ребенка исходя из интересов ребенка и с учетом мнения ребенка.

4. Родитель, проживающий отдельно от ребенка, имеет право на получение информации о своем ребенке из воспитательных учреждений, лечебных учреждений, учреждений социальной защиты населения и других аналогичных учреждений. В предоставлении информации может быть отказано только в случае наличия угрозы для жизни и здоровья ребенка со стороны родителя. Отказ в предоставлении информации может быть оспорен в судебном порядке.