Можно закрыть ИП, при этом задолженность перейдет к вам как физическому лицу. Если не планируете возобновить деятельность , то закрывайте и не затягивайте с этим. ПФР будет продолжать начислять страховые взносы, пока не закроетесь.
В налоговую: заявление формы 26001 и квитанция об оплате госпошлины (160 руб.)