Проблема с пенсионными взносами после закрытия ИП - что делать?

У меня такой вопрос. У меня было ИП с 2005 года, где-то с 2010 года я работал на "дядю", т.е. ИП не работало и соответственно налоги не платил. В 2016 году я полностью закрыл ИП, заплатил все штрафы и пени, но пенсионный фонд выставил огроменный счет в районе 470 тыс. руб. Их не интересуют мои доводы, что я не работал на себя, т.е. пенсионные взносы не уплачивались. Они говорят-ИП не было закрыто,-следовательно оплачивайте взносы в пенсионный фонд. Как мне быть? Оплачивать такую сумму не намерен.