Dans les dernières années de la restauration, l'opposition politique attaque vigoureusement le régime en place. Vidocq n'est pas épargné et deviendra même une cible privilégiée. Le Préfet Delavau qui craint pour sa position lâche peu à peu Vidocq. Un proche de Delavau, un arriviste parvenu du nom de Duplessis persuade le préfet de se débarrasser de Vidocq. Harcèlement et reproches vont alors pleuvoir sur Vidocq et sa brigade. L'un des principaux reproches que l'on fait aux agents de la Brigade de sûreté est qu'ils n'assistent pas à la messe, c'est dire le souhait de se débarrasser d'eux quelqu'en soit le motif.

​

     Le 20 Juin 1827, Vidocq est contraint à envoyer sa lettre de démission au préfet Delavau :

​

« Depuis dix-huit ans, je sers la police avec distinction. Je n'ai jamais reçu un seul reproche de vos prédécesseurs. Je dois donc penser n'en avoir pas mérité. Depuis votre nomination à la deuxième division, voilà la deuxième fois que vous me faites l'honneur de m'en adresser en vous plaignant des agents. Suis-je le maître de les contenir hors du bureau? Non. Pour vous éviter, monsieur, la peine de m'en adresser de semblables à l'avenir, et à moi le désagrément de les recevoir, j'ai l'honneur de vous prier de vouloir bien recevoir ma démission.
« J'ai l'honneur, etc. (signé) : VIDOCQ. »

 

     Coco-Lacour, un de ses anciens agents le remplacera à la tête de la sûreté. Il était de ceux qui ne manquaient aucune messe !

Au lendemain de sa démission, Vidocq s'atèle à l'écriture de ses mémoires.

​

En 1828, elles seront publiées et auront un énorme succès. Mais Vidocq n'est pas satisfait du travail des teinturiers ("hommes de lettres" qui étaient sensés aider Vidocq dans la rédaction des ses Mémoires) qu'il avait engagé pour, il fera donc ensuite paraître ses vraies mémoires écrites par Froment (Voir bibliographie). Ses mémoires seront traduites en Angleterre et adaptées en pièce de théâtre.

​

Parallèlement à cela, il ouvre une manufacture de papier infalsifiable et d'encre indélébile à Saint-Mandé. Il y fait travailler d'anciens forçat (cette action inspirera le personnage du Père Madeleine à Victor Hugo dans "les Misérables"). Vidocq aura les pires ennuis avec les riverains du fait du passé de prisonniers de son personnel et des nuisances liées à son activité industrielle.

​

Voici ce que l'on peut lire concernant la papeterie de Saint-Mandé dans des notes (anonymes) parues dans ses mémoires rééditées en 1868 (Edition illustrée - Huillery, Librairie-Editeur, 10, rue Git-Le-Coeur, Paris).

​

"Tandis que d'autres faisaient couronner par toutes les académies de magnifiques dissertations sur la condition des libérés, et gagnaient, au facile métier e philanthropes théoriciens, décorations, honneurs et profit, l'ancien chef de la brigade de sûreté, qui comprenait mieux qu'un autre combien il importait à la société de tendre une main secourable à ceux de ces malheureux qui témoignaient un repentir réel, résolut de leur procurer des moyens d'existence par le travail, et de les soustraire ainsi aux tentations et aux peines de la récidive.
Il avait choisi cette industrie de préférence, parce que le plus souvent elle s'exerce hors des villes, qu'elle n'est pas très difficile à apprendre, et qu'elle est néanmoins assez productive. Les hommes, au bout de 6 mois d'apprentissage, pouvaient gagner 2 fr. 50 c. par jour, et plus tard 3 fr. 50 c.; les femmes, de 1 fr. 25 c. à 1 fr. 75 c. Ses débuts, quoique pénibles, furent assez heureux; il démontra par l'expérience, plus forte que les raisonnements, que tous les libérés ne sont pas incorrigibles, et qu'avec un peu de persévérance on en pourrait ramener près d'un tiers au bien.

Trois causes contribuèrent à la décadence d'un établissement intéressant à tant d'égards. D'abord ce n'était pas dès le premier jour, mais seulement au bout de six mois, que les libérés, hommes ou femmes, pouvaient gagner ces salaires minimes de 2 fr. 50 c. et de 1 fr. 25 c.; et c'était dès le premier jour qu'il fallait pourvoir à leur logement, à leur nourriture, quelquefois à leur habillement. La question était donc, non pas de leur faire des avances, que jamais peut-être ils n'auraient pu ou voulu rembourser, mais purement et simplement de les entretenir gratuitement pendant leur apprentissage.
La police avait d'abord singulièrement approuvé l'idée de Vidocq, et promis de l'aider puissamment ; une fois qu'il en fut sorti, elle ne lui donna pas un sou et le laissa supporter seul, non-seulement les frais d'installation, lesquels s'élèvent à 100,000 fr. pour chaque machine à papier, mais encore les frais d'entretien de ses futurs ouvriers pendant leur apprentissage; il ne pouvait donc continuer longtemps sur ce pied-là.

Enfin, les indigènes de Saint-Mandé ne valent ni plus ni moins que toute la banlieue de Paris, laquelle ne vaut pas cher, ainsi que chacun sait. A peine les ouvriers de Vidocq furent-ils installés, qu'à tort ou à raison on porta à leurs compte tous les méfaits commis dans la commune, y compris les picorés des visiteurs parisiens. De quoi que ce soit, qui que ce fût se plaignit, un chœur de commères des deux sexes répondait invariablement : « C'est la bande à Vidocq ! »"

​

Le 28 Janvier 1830, Vidocq épouse sa cousine Fleuride-Albertine Maniez à Saint-Mandé. Elle a 18 ans de moins que Vidocq et sera sa fidèle alliée dans toutes les épreuves qu'il subira par la suite.

​

​En 1832, Vidocq se fait rappeler par Casimir Perier (Ministre de l'intérieur) qui a bien du mal à endiguer les révoltes de Juin. Vidocq redevient chef de la sûreté le 31/03/1832.

​