Как оформить развод и не записывать бывшего мужа отцом новорожденных детей?

Нет, но Вы, биологический отец, либо супруг можете оспорить/установить отцовство в судебном порядке. Если не хотите кого-либо записывать в графе отец, то оспаривайте сами.

Постановление Пленума Верховного Суда РФ от 16.05.2017 N 16 (ред. от 26.12.2017) "О применении судами законодательства при рассмотрении дел, связанных с установлением происхождения детей"

Оспаривание отцовства или материнства (статья 52 СК РФ)

25. Согласно пункту 1 статьи 52 СК РФ запись родителей в книге записей рождений, произведенная в соответствии с пунктами 1 и 2 статьи 51 СК РФ, может быть оспорена в судебном порядке лицом, записанным в качестве отца или матери ребенка, либо лицом, фактически являющимся отцом или матерью ребенка (биологический родитель), а также самим ребенком по достижении им совершеннолетия, опекуном (попечителем) ребенка, опекуном родителя, признанного судом недееспособным. Указанное право принадлежит также ребенку, не достигшему возраста восемнадцати лет, приобретшему полную дееспособность в результате эмансипации или вступления в брак (пункт 2 статьи 21, пункт 1 статьи 27 ГК РФ).

Ввиду того, что семейное законодательство исходит из недопустимости произвольного вмешательства кого-либо в дела семьи (статья 1 СК РФ), указанный перечень лиц является исчерпывающим и расширительному толкованию не подлежит.

С Уважением, адвокат – Степанов Вадим Игоревич.