Начальник не одобряет уходы в срок - какие последствия могут быть для работника?

Какие последствия для меня могут быть, если я буду уходить вовремя с работы? (начальник любит высиживать до закрытия здания, пристыдить и покричать по поводу уходов в срок). Я же просто встаю и ухожу, под неодобрительные взгляды, вздохи, перешептывания. Меня могут уволить? Выжить? Подвести под увольнение? Побить? Что? Я раньше упорно с ним высиживала непонятно что после рабдня до посиденения пока уборщица тряпкой не прогонит на закрытие, но теперь просто беру сумку, выключаю компьютер и молча ухожу, пока он и его подчиненные отдела сидят. Спросила у одной девушки, когда она собирается домой? Говорит, не скоро, нужно бумажки перебрать. Спрашивает меня, хочу ли я помочь ей? Я отказываюсь, еще я за других не работала. Говорю, я сейчас одеваюсь и иду домой (перерабатываю уже час), а она мне "ну попрбуй" с издевкой. Ну я встала и ушла. Начальник с порога постоянно мусолит, что помирает на работе и опять они сидели до победы, работы не впроворот. Я делаю свою работу в рабочие часы, на то они и даны. Никаких посиделок, никакой работы на выходных. Что они вообще могут ко мне применить? Я что-то нарушаю? Выживание с работы, я переживу, и не с такими работала. Просто, по закону, я где-то не права? Со мной никаких доп. соглашений не заключали, где бы был прописан ненормированный день, я обычный офисный планктон, не работник метро или скорой. В чем дело?