Существовало ли в ранее действовавшем заонодательстве СССР и РСФСР понятие "самовольная постройка"?

Фактически да. Точно так же предусматривались неблагоприятные последствия.

Гражданский Кодекс РСФСР от 11 июня 1964 г.

" Статья 109. Последствия самовольной постройки дома

Гражданин, построивший жилой дом (дачу) или часть дома (дачи) без установленного разрешения или без надлежаще утвержденного проекта, либо с существенными отступлениями от проекта или с грубым нарушением основных строительных норм и правил,не вправе распоряжаться этим домом (дачей) или частью дома (дачи) - продавать, дарить, сдавать внаем и т.п.

По решению исполнительного комитета районного, городского, районного в городе Совета народных депутатов такой дом (дача) или часть дома (дачи) сносятся гражданином, осуществившим самовольное строительство, или за его счет, либо по решению суда могут быть безвозмездно изъяты и зачислены в фонд местного Совета народных депутатов.

При безвозмездном изъятии у гражданина на основании настоящей статьи жилого дома (дачи) или части дома (дачи) суд может лишить его и проживающих с ним лиц права пользования этим домом (дачей). Однако, если эти граждане не имеют иного жилого помещения, пригодного для постоянного проживания, исполнительный комитет местного Совета народных депутатов, которому передан изъятый дом (дача), предоставляет им другое жилое помещение. (в ред. Указа Президиума Верховного Совета РСФСР от 24 февраля 1987 г. - Ведомости Верховного Совета РСФСР, 1987, N 9, ст.250)".