То есть фактически в квартире, где он и по сей день прописан он вообще никогда не проживал.

Безусловно вопрос выселения бывшего зятя Вам лучше было решать до вступления в силу нового ЖК РФ, то есть до 1 марта 2005г., т.к тогда Вы могли признать его не приобретшим право на жилую площадь(ст.53 ЖК РСФСР). Если бы Вы не намеревались продавать квартиру, то выселить бывшего зятя после 1 марта 2005г. практически невозможно, т.к согласно ст.19 Федерального закона от 29.12.2004 № 189-ФЗ "О введении в действие Жилищного кодекса Российской Федерации"(принят ГД ФС РФ 22.12.2004) действие положений части 4 статьи 31 Жилищного кодекса Российской Федерации не распространяется на бывших членов семьи собственника приватизированного жилого помещения при условии, что в момент приватизации данного жилого помещения указанные лица имели равные права пользования этим помещением с лицом, его приватизировавшим, если иное не установлено законом или договором. При продаже квартиры новый собственник сможет выселить Вашего бывшего зятя из квартиры через суд, поскольку теперь согласно п.2 ст.292 ГК РФ переход права собственности на жилой дом или квартиру к другому лицу является основанием для прекращения права пользования жилым помещением членами семьи прежнего собственника, если иное не установлено законом.