La biblioteca del seminario es un tesoro escondido de la ciudad. Su existencia y la riqueza de sus volúmenes es algo desconocido por la inmensa mayoría de gaditanos. En la actualidad, contiene más de 11.000 ejemplares, divididos en tres estancias.

La más importante, sin duda, es la situada en la segunda planta, junto a la capilla gótica del seminario (otro rincón desconocido). Un amplio salón rodeado de librerías realizadas en madera de caoba conserva los más de tres mil volúmenes de esta habitación, que datan desde el siglo XVI. Hay libros de todos los géneros: historia, cosmología, cartografía, filosofía, teología, Biblias o guías de viajeros para visitar Cádiz (que utilizaban los propios seminaristas que no salían del edificio).

Entre los ejemplares más destacados, el archivero de la diócesis, Luis Palomino, enseña ejemplares del diario de sesiones y de distintas publicaciones de 1812, como la revista Abeja Española. De hecho, la de la biblioteca del seminario es una de las colecciones sobre el Doce más completas que existen en la ciudad.

También se conservan en esta sala partituras de una misa que Hilarión Eslava compuso para el obispo Calvo y Valero, de gran recuerdo en el seminario por sus acciones y aportaciones tanto al edificio como al fondo bibliográfico. Una colección de biología (materia que también estudiaban los seminaristas) se esconde entre los pupitres que separan en dos el salón y otra de animales disecados se conserva en otra pequeña biblioteca de la primera planta en la que una chica, Matilde, se está encargando de la catalogación, limpieza y conservación de libros.

Junto a esta gran biblioteca, la joya del seminario, hay también otra en la primera planta que se conoce como la Sala de las columnas, entre cuyos ejemplares destacados hay una edición del Quijote del siglo XVIII.

De estas dos dependencias sólo existen dos llaves, las que custodian el rector del seminario, José Manuel Daza, y Luis Palomino. La tercera parte de los fondos diocesanos está en la planta baja y es la biblioteca que utilizan los seminaristas, con ejemplares de los siglos XIX y XX que se va completando continuamente con nuevos libros.