Связь между местом проведения собрания и нахождением дома - можно ли отказаться от участия?

Есть ли привязка между нахождением дома и местом проведения собрания? Инициатор собрания назначил место и время, удобное только ему, т.е. рабочее и по месту своей работы. Вправе ли мы отказаться и не пойти на это собрание, т.к. никто с работы никого не отпустит.