После этого квартиру привотезировали и у нас с дочерью было по 1/5 доли в этой квартире.

В судебном порядке можете, а так просто придти и снять с учета нет, поскольку он был вселен Вами добровольно в период семейных отношений;

"Жилищный кодекс Российской Федерации" от 29.12.2004 N 188-ФЗ (ред. от 28.06.2022, с изм. от 12.07.2022)

ЖК РФ Статья 31. Права и обязанности граждан, проживающих совместно с собственником в принадлежащем ему жилом помещении

Перспективы и риски споров в суде общей юрисдикции. Ситуации, связанные со ст. 31 ЖК РФ

4. В случае прекращения семейных отношений с собственником жилого помещения право пользования данным жилым помещением за бывшим членом семьи собственника этого жилого помещения не сохраняется, если иное не установлено соглашением между собственником и бывшим членом его семьи. Если у бывшего члена семьи собственника жилого помещения отсутствуют основания приобретения или осуществления права пользования иным жилым помещением, а также если имущественное положение бывшего члена семьи собственника жилого помещения и другие заслуживающие внимания обстоятельства не позволяют ему обеспечить себя иным жилым помещением, право пользования жилым помещением, принадлежащим указанному собственнику, может быть сохранено за бывшим членом его семьи на определенный срок на основании решения суда. При этом суд вправе обязать собственника жилого помещения обеспечить иным жилым помещением бывшего супруга и других членов его семьи, в пользу которых собственник исполняет алиментные обязательства, по их требованию.