Могу ли я отказаться от этого по идейным соображениям (например я не могу и не имею желания судить других)?

Не можете. Только по указанным в законе основаниям, к числу которых высказанное Вами не относится. Впрочем, присяжные заседатели на самом деле не судят - этим занимается судья или соства суда. Присяжные заседатели всего лишь устанавливают наличие или отсутствие фактов, в рамках процесса.

Федеральный закон от 20 августа 2004 г. N 113-ФЗ

"О присяжных заседателях федеральных судов общей юрисдикции в Российской Федерации"

(с изменениями от 31 марта 2005 г.)

"Статья 7. Исключение граждан из общего и запасного списков кандидатов в присяжные заседатели

Граждане, включенные в общий или запасной список кандидатов в присяжные заседатели, исключаются из указанных списков высшим исполнительным органом государственной власти субъекта Российской Федерации в случаях:

1) выявления обстоятельств, указанных в части 2 статьи 3 настоящего Федерального закона;

2) подачи гражданином письменного заявления о наличии обстоятельств, препятствующих исполнению им обязанностей присяжного заседателя, если он является:

а) лицом, не владеющим языком, на котором ведется судопроизводство;

б) лицом, не способным исполнять обязанности присяжного заседателя по состоянию здоровья, подтвержденному медицинскими документами;

в) лицом, достигшим возраста 65 лет;

г) лицом, замещающим государственные должности или выборные должности в органах местного самоуправления;

д) военнослужащим;

е) судьей, прокурором, следователем, дознавателем, адвокатом, нотариусом или имеющим специальное звание сотрудником органов внутренних дел, органов по контролю за оборотом наркотических средств и психотропных веществ, службы судебных приставов, таможенных органов, органов и учреждений уголовно-исполнительной системы, а также лицом, осуществляющим частную детективную деятельность на основе специального разрешения (лицензии);

ж) священнослужителем.

Статья 3. Требования, предъявляемые к присяжным заседателям

1. Присяжными заседателями могут быть граждане, включенные в списки кандидатов в присяжные заседатели и призванные в установленном Уголовно-процессуальным кодексом Российской Федерации порядке к участию в рассмотрении судом уголовного дела.2. Присяжными заседателями и кандидатами в присяжные заседатели не могут быть лица:

1) не достигшие к моменту составления списков кандидатов в присяжные заседатели возраста 25 лет;

2) имеющие непогашенную или неснятую судимость;

3) признанные судом недееспособными или ограниченные судом в дееспособности;

4) состоящие на учете в наркологическом или психоневрологическом диспансере в связи с лечением от алкоголизма, наркомании, токсикомании, хронических и затяжных психических расстройств.

3. К участию в рассмотрении судом конкретного уголовного дела в порядке, установленном Уголовно-процессуальным кодексом Российской Федерации, в качестве присяжных заседателей не допускаются также лица:

1) подозреваемые или обвиняемые в совершении преступлений;

2) не владеющие языком, на котором ведется судопроизводство;

3) имеющие физические или психические недостатки, препятствующие полноценному участию в рассмотрении судом уголовного дела.