Двойное удержание страховых взносов - Пенсионный фонд отказал в перерасчете пенсии - что делать?

В 2004 году встал на учёт в налоговой как ИП. Но работать как ИП не получилось. С 1970 года по 2014 года работал на заводе, откуда в 2014 году вышел на пенсию. Т.к я числился в налоговой как ИП до 2016 года, у меня образовался долг перед пенсионным фондом, хотя мой работодатель делал отчисления в ПФ. При выходе на пенсию в 2014 году с меня начали удерживать долг, в общей сложности удержали 290 тыс. руб. Теперь я не должен. Я написал заявление о перерасчёте моей пенсии но ПФ мне отказал. Правы они или нет? По сути дела у меня двойное удержание страховых взносов. Как мне поступить?