По телефону пригласили в суд и сказали что я заявлен в качестве свидетеля, могу ли я не ходить?

Если не явитесь, будет штраф.

Нормы права:

ГРАЖДАНСКИЙ ПРОЦЕССУАЛЬНЫЙ КОДЕКС

Статья 168. Последствия неявки в судебное заседание свидетелей, экспертов, специалистов, переводчиков

2. В случае, если вызванный свидетель, эксперт, специалист, переводчик не явился в судебное заседание по причинам, признанным судом неуважительными, он может быть подвергнут судебному штрафу в порядке и в размере, которые установлены главой 8 настоящего Кодекса. Свидетель при неявке в судебное заседание без уважительных причин по вторичному вызову может быть подвергнут принудительному приводу.

Вы не должны забывать о том, что за неявку в суд в качестве свидетеля, Вы можете быть подвергнуты приводу, как на основании ст. 168 ГПК РФ, так и в соответствии со ст. 113 УПК РФ (в зависимости от того, гражданское это дело или уголовное). Более того, законодательством предусмотрена такая возможность вызова свидетеля, как посредством телефонного сообщения. Об этом секретарь (помощник) составит соответствующую телефонограмму, которая будет приобщена к делу (ст. 113 ГПК РФ).

Вас должны вызвать письменно, а не по телефону, можете никуда не ходить, пока не будет письменного изаещения в суд.

Лучше сходить и исполнить свой гражданский долг. Про ответственность по неявке вам написали.