Aucun règne n’a suscité autant de Mémoires que le Second Empire. Or, parmi les nombreux témoins de cette époque trop longtemps négligée, le comte Horace de Viel Castel (1802-1864) occupe une place à part. Secrétaire général du Louvre et bras droit de Nieuwerkerke, le surintendant des Beaux-Arts, il est installé au coeur même du « nouveau monde » impérial et l’observe avec la morgue du vieil aristocrate légitimiste que l’Histoire a laissé au bord de la route, mais qu’il rejoint par l’écriture. La publication de ses souvenirs, près de vingt ans après sa mort, suscita un véritable scandale. En effet, les portraits que fait Viel Castel de la famille impériale et des principaux acteurs politiques de l’époque sont au vitriol, à commencer par celui de Napoléon III. Mais il n’épargne pas sa propre caste : « La vieille aristocratie achève de mourir dans les bordels, la nouvelle suit son exemple. » Avec une ironie cinglante, il fustige la course aux places et aux décorations et dénonce le caractère « parvenu » des serviteurs du nouveau régime : « L’Empereur, au milieu de sa cour, de ses ministres, de ses conseils, de son Sénat, est comme un diamant tombé sur un étron. » Rien n’arrête Viel Castel, dont le surnom, « Fiel Castel », dit assez le goût pour les indiscrétions. Intrigues politiques, affaires financières, moeurs particulières des uns et des autres : le tableau qu’il brosse de la société de son temps est digne de Saint-Simon. Ses Mémoires sont le complément indispensable du Journal des Goncourt.