В отделе кадров мне сказали, что при составлении графика отпусков учитывается фактически отработанное время.

Лена, Ваш отдел кадров руководствуется ст. 121 Трудового кодекса РФ:

Исчисление стажа работы, дающего право на ежегодные оплачиваемые отпуска

В стаж работы, дающий право на ежегодный основной оплачиваемый отпуск, включаются:

время фактической работы;

время, когда работник фактически не работал, но за ним в соответствии с трудовым законодательством и иными нормативными правовыми актами, содержащими нормы трудового права, коллективным договором, соглашениями, локальными нормативными актами, трудовым договором сохранялось место работы (должность), в том числе время ежегодного оплачиваемого отпуска, нерабочие праздничные дни, выходные дни и другие предоставляемые работнику дни отдыха;

время вынужденного прогула при незаконном увольнении или отстранении от работы и последующем восстановлении на прежней работе;

период отстранения от работы работника, не прошедшего обязательный медицинский осмотр (обследование) не по своей вине;

время предоставляемых по просьбе работника отпусков без сохранения заработной платы, не превышающее 14 календарных дней в течение рабочего года.

В стаж работы, дающий право на ежегодный основной оплачиваемый отпуск, не включаются:

время отсутствия работника на работе без уважительных причин, в том числе вследствие его отстранения от работы в случаях, предусмотренных статьей 76 настоящего Кодекса;

время отпусков по уходу за ребенком до достижения им установленного законом возраста;