Впечатления Ф.Ф. Вигеля от отставки и ссылки М. Сперанского, наполненные радостью, свидетельствуют о том, что члены высшего сословия, занятые в умственном труде, писательстве, как Филипп Вигель, не разделяли догм, на которых была построена деятельность Михаила Сперанского. Он был чрезвычайно передовой для своего времени. Но высшее сословие не желало прощаться со своими привилегиями, дарованные абсолютной властью императора. Поэтому впечатления Вигеля и многих других были радостными, хотя он всего лишь уехал из Москвы и еще вернется.
Один из идеологов консерватизма Н.М.Карамзин открыто критиковал Сперанского, считал его изменником.
Александр 1 понимал, что в сущности критика направлена в его собственный адрес. И накануне приближающейся войны с Наполеоном, император вовсе не хотел портить отношения с обществом, наоборот, стремился объединить его. Александр 1 принял решение об отставке реформатора. Сначала Сперанский был выслан в Нижний Новгород, а затем переправлен в Пермь.