Может ли человек отказаться выходить на работу в свой выходной день?

Конечно, может.

Статья 113. Запрещение работы в выходные и нерабочие праздничные дни. Исключительные случаи привлечения работников к работе в выходные и нерабочие праздничные дни

Работа в выходные и нерабочие праздничные дни запрещается, за исключением случаев, предусмотренных настоящим Кодексом.

Привлечение работников к работе в выходные и нерабочие праздничные дни производится с их письменного согласия в случае необходимости выполнения заранее непредвиденных работ, от срочного выполнения которых зависит в дальнейшем нормальная работа организации в целом или ее отдельных структурных подразделений, индивидуального предпринимателя.

Привлечение работников к работе в выходные и нерабочие праздничные дни без их согласия допускается в следующих случаях:

1) для предотвращения катастрофы, производственной аварии либо устранения последствий катастрофы, производственной аварии или стихийного бедствия;

2) для предотвращения несчастных случаев, уничтожения или порчи имущества работодателя, государственного или муниципального имущества;

3) для выполнения работ, необходимость которых обусловлена введением чрезвычайного или военного положения, а также неотложных работ в условиях чрезвычайных обстоятельств, то есть в случае бедствия или угрозы бедствия (пожары, наводнения, голод, землетрясения, эпидемии или эпизоотии) и в иных случаях, ставящих под угрозу жизнь или нормальные жизненные условия всего населения или его части.