A côté de la maison, sur la gauche, un long bâtiment formait la bibliothèque. Elle est ornée de trois arcades d’ordre ionique décorées de bustes de Cicéron, de Virgile et d’Horace portant cette devise :
« Omnibus omnia » (Tout pour tous)
On pénétrait dans une petite chambre où se trouvaient quelques tableaux parmi lesquels on distinguait le portrait de Pie VI par Pompeo Batoni, celui de Saint Jérôme par Pietro Ricchi et celui d’un Calabrais par Solimène. Suivait la bibliothèque proprement dite, abondamment garnie, si l’on en croit Le Prieur, qui affirme qu’elle se composait de 30000 volumes. Le comte d’Albon ayant voulu faire de Franconville sa résidence, il y avait rassemblé tous les livres qu’il pouvait avoir dans ses diverses demeures. Certains de ces volumes étaient d’une qualité rare. Il y avait, outre plusieurs manuscrits sur vélin, la collection entière des Conciles, des Saints Pères et un grand nombre d’éditions d’imprimeurs renommés : Vascosan, Elzevir, Baskerville, Brindley.
Que sont devenus tous ces volumes ? Après s’être retiré dans son château d’Avauges, en Lyonnais, quand il fut obligé de vendre sa propriété de Franconville, il refusa la vente de tous ses manuscrits. Après sa mort en 1789, sa bibliothèque fut vendue à Lyon en 1790 par le libraire Los Rios.
Pour les volumes de sa bibliothèque, le comte d’Albon usait d’un ex-libris armorié. C’était ses propres armes accolées à celles de la comtesse d’Albon. L’écu surmonté d’une couronne princière, était accompagné de la devise : « Que croire » et de cette phrase « Même la mort ne peut séparer ceux que l’amour a unis ».
Au dessous de cette bibliothèque, qui formait une grande galerie, il y avait une pharmacie, un laboratoire de chimie, un cabinet d’histoire naturelle et un cabinet de physique.
La pharmacie, servait surtout à soulager les pauvres de Franconville, à qui le comte distribuait des remèdes dont ils avaient besoin. A l’entrée de la pharmacie nous pouvions lire cette inscription : « Le pauvre m’a été laissé ».
Le cabinet de chimie servait aux expériences que le comte se plaisait à faire. On remarquera que ce cabinet était bien mal situé au-dessous de la bibliothèque en cas d’une expérience mal conduite.
Le cabinet d’histoire naturelle renfermait des coquillages, des pierres précieuses, des agates.
Le cabinet de physique était une machine électrique, la plus forte d’Europe, qui avait servi autrefois à la guérison d’un paralytique versaillais. Le comte d’Albon avait non seulement prêté sa machine, mais il avait lui-même présidé aux applications parfaitement réussies.
A la sortie de la bibliothèque, nous pénétrons dans le jardin où se trouve un bosquet garni de treillages et formant un berceau d’où pendent des fleurs et des fruits.