Можно ли поменять категорию В на А в военкомате?

Да, можно. Необходимо написать заявление на переосвидетельствование.

Федеральный закон от 28.03.1998 N 53-ФЗ «О воинской обязанности и военной службе»

Гражданин в возрасте от 18 до 27 лет, освобожденный от призыва на военную службу в связи с признанием его ограниченно годным к военной службе по состоянию здоровья и зачисленный в запас Вооруженных Сил Российской Федерации, вправе пройти медицинское освидетельствование для определения его годности к военной службе в соответствии со статьей 5.1 настоящего Федерального закона. В случае признания указанного гражданина годным к военной службе или годным к военной службе с незначительными ограничениямион переводится военным комиссариатом на воинский учет граждан, не пребывающих в запасе, и подлежит призыву на военную службу на общих основаниях.

Постановление Правительства РФ от 04.07.2013 N 565 «Об утверждении Положения о военно-врачебной экспертизе»

84. Граждане, ранее признанные ограниченно годными к военной службе по состоянию здоровья, могут быть освидетельствованы повторно в случае, если в результате их обследования в медицинских организациях ранее установленный им диагноз заболевания изменен (пересмотрен) или они признаны здоровыми. Освидетельствование граждан, ранее признанных ограниченно годными к военной службе по состоянию здоровья и являющихся инвалидами I группы или имеющих иную группу инвалидности без указания срока переосвидетельствования, в связи с исполнением ими воинской обязанности проводится заочно с их согласия или с согласия их законных представителей на основании медицинских карт амбулаторного больного и копий актов медико-социальной экспертизы гражданина, заверенных подписью руководителя и печатью соответствующего бюро медико-социальной экспертизы.