C'est au lendemain des journées de 1830, exactement au mois d'octobre, après avoir renoncé à tous ses titres et honneurs, mis bas l'habit de pair, l'épée, le chapeau à plumet, dont il avait détaché la cocarde blanche pour la placer dans la poche de sa redingote noire, côté du cœur, que Chateaubriand, retiré dans la solitude ombragée de l'infirmerie Marie-Thérèse, continue ses Mémoires. Cette quatrième partie contient l'histoire des événements principaux de ces années, le tableau de Paris pendant l'épidémie de choléra de 1832, l'arrestation de Chateaubriand « prévenu de complot contre la sûreté de l'État », l'amusant récit de son séjour à la préfecture de police, chez M. Gisquet, dans le cabinet de toilette de Mlle Gisquet qui lui jouait du piano pour le distraire ; le voyage en Suisse de 1832, le séjour à Genève et la visite au tombeau de Mme de Staël avec Mme Récamier, enfin le procès de février 1833 à propos de la phrase du Mémoire sur la captivité de Mme la duchesse de Berry : « Madame, votre fils est mon roi », et l'acquittement qui le suivit.
Les parties suivantes sont toutes de l'année 1833, et contemporains des faits qu'ils racontent. C'est le voyage à Prague auprès de Charles X, auquel Chateaubriand va porter les déclarations de la duchesse de Berry, l'entrevue avec le vieux roi en exil dans le triste et solennel château de Hradschin ; puis le voyage de Venise et de Padoue à la rencontre de la duchesse de Berry et la seconde entrevue avec Charles X à Butschirad. Puis viennent l'étude de la politique générale du règne de Louis-Philippe et des portraits célèbres, ceux de Thiers, de La Fayette, surtout le merveilleux portrait de Talleyrand, buriné d'une main vengeresse pour la postérité.
La fin des Mémoires est un des plus beaux passages et la digne conclusion de l'ouvrage par la noblesse, par la hauteur des vues générales qu'il exprime. Arrivé sur le bord de sa tombe, Chateaubriand se retourne, mesure du regard l'espace parcouru, apprécie les changements extraordinaires survenus dans l'histoire du monde depuis la Révolution jusqu'au temps présent. Il n'est pas exagéré de dire que ces pages trop peu connues évoquent à l'esprit les grands noms d'un Bossuet ou d'un Montesquieu. Dans des aperçus d'une admirable élévation morale et d'un caractère souvent prophétique, l'écrivain se place au point de vue de la justice éternelle, au-dessus de l'esprit de parti, au-dessus de son temps même ; d'un regard pénétrant il perce l'avenir, trace à grands traits les caractères nouveaux des sociétés démocratiques et modernes. Nul doute que ces pages n'aient dépassé par leur portée le niveau commun des intelligences au moment où elles parurent ; elles ne furent pas comprises, elles ne pouvaient l'être. Elles empruntent enfin une certaine solennité à l'idée de la mort qui s'avance à grands pas et dont la funèbre image, tant de fois évoquée par l'auteur, clôt dignement ces Mémoires.