Может ли пенсионер и инвалид 3 группы отказаться от временного перевода на другую работу в библиотеку?

Судя по тексту - да.

ТК РФ.

"Статья 72.2. Временный перевод на другую работу

По соглашению сторон, заключаемому в письменной форме, работник может быть временно переведен на другую работу у того же работодателя на срок до одного года, а в случае, когда такой перевод осуществляется для замещения временно отсутствующего работника, за которым в соответствии с законом сохраняется место работы, - до выхода этого работника на работу. Если по окончании срока перевода прежняя работа работнику не предоставлена, а он не потребовал ее предоставления и продолжает работать, то условие соглашения о временном характере перевода утрачивает силу и перевод считается постоянным.

В случае катастрофы природного или техногенного характера, производственной аварии, несчастного случая на производстве, пожара, наводнения, голода, землетрясения, эпидемии или эпизоотии и в любых исключительных случаях, ставящих под угрозу жизнь или нормальные жизненные условия всего населения или его части, работник может быть переведен без его согласия на срок до одного месяца на не обусловленную трудовым договором работу у того же работодателя для предотвращения указанных случаев или устранения их последствий.

Перевод работника без его согласия на срок до одного месяца на не обусловленную трудовым договором работу у того же работодателя допускается также в случаях простоя (временной приостановки работы по причинам экономического, технологического, технического или организационного характера), необходимости предотвращения уничтожения или порчи имущества либо замещения временно отсутствующего работника,

если простой или необходимость предотвращения уничтожения или порчи имущества либо замещения временно отсутствующего работника вызваны чрезвычайными обстоятельствами, указанными в части второй настоящей статьи.

При этом перевод на работу, требующую более низкой квалификации, допускается только с письменного согласия работника".