En 1555, Pierre d’Assezat construit un hôtel particulier dans « le quartier des Changes » en plein centre-ville de Toulouse, le pastellier est loin d’imaginer que sa vie bercée par son immense fortune ne sera bientôt plus qu’un bûcher de cendre.
Né en 1515, dans une famille bourgeoise, Pierre d’Assezat a près de trente-cinq ans quand il arrive au sommet de la réussite. Il est nommé capitoul de Toulouse. Ses relations avec le monde de la finance lui permettent de devenir un personnage politique respecté. Ses amitiés avec les protestants du grand commerce du Nord vont l’inciter à se poser des questions sur la religion. Il reproche à l’Église catholique de se détourner de la spiritualité et de s’égarer dans le luxe et les biens immobiliers. D’Assezat se convertit au calvinisme. La nouvelle fait l’effet d’une bombe.
En 1562, l’empire des « princes de l’or bleu » vacille. La moisson est de médiocre qualité à cause des pluies diluviennes qui se sont abattues sur le Lauragais. Déjà les deux années précédentes, les récoltes avaient été catastrophiques. Pour ne rien arranger, des sous-traitants peu scrupuleux ont mélangé le mauvais pastel au bon.
À la Bourse d’Anvers, c’est la stupeur. Les Flamands ne comprennent pas. Lorsque la nouvelle est confirmée, c’est l’effarement et la colère. Les cours s’effondrent.
À Toulouse, le protestant Pierre d’Assezat est banni de la ville et va se réfugier à Montauban avec les Huguenots. Repris, il connaît la prison du château Trompette à Bordeaux. Sa vie bascule et avec lui, « l’empire du pastel » implose.