El 30 de Mayo de 1597 Felipe II resolvió que se hicieran dos fuertes en la parte más estrecha de la Bahía, Puntal y Matagorda. Hasta ese momento, la Bahía estaba desguarnecida. Sólo el baluarte de San Felipe y las murallas de la ciudad podían contener un posible ataque. El antiguo baluarte del Puntal había sido destruido en 1596 y era preciso hacer frente a él un fuerte capaz de cubrir con sus fuegos cruzados la entrada y salida de los navíos. El ingeniero Rojas llegó en 1607 con el propósito de levantarlos.

Para Matagorda, un millón de pinos procedentes del término de Puerto Real se cortaron para hacer un estacado que sirviera de cimientos. Sesenta mil ducados hacían falta para la construcción, mínimo diez mil para echar los cimientos. En 1612, aún estaban las estacas sin cimentar. Sólo cuando Cádiz se sintió amenazada por la flota holandesa se llegó al acuerdo de terminarlo, muerto ya Cristóbal de Rojas. Y mientras el de Puntales se terminaba, aún a mediados del XVII, el de Matagorda seguía estaqueado, aunque se había asentado la madera con piedras y levantado la cortina de la banda de tierra.

Juan Hurtado asumió la dirección de la obra y la entendió como dos torres atalayas. Las terminó en tres años. La obtención del dinero, un impuesto sobre el pescado a toda la población de la villa. Matagorda quedó sobre un terreno compuesto de cascajo, arena y lodo que quedaba cubierto en la pleamar. Cuando el mar bajaba, la calzada lo unía con Puerto Real.

Contaba con un frente que miraba al canal, un segundo cuerpo agregado a su frente de tierra con almacén de pólvora, cuerpo de guardia y un cuarto para un oficial. A mediados del siglo XVIII había en todo el castillo dieciocho cañones, al frente del canal cinco. Los de este frente se combinaban con los del Puntal, de forma que un barco que se cruzase entre ellos no podía dar su costado a las baterías y no podía emplear sus cañones.

Hasta el 22 de Abril de 1810, el fuerte de Matagorda continuó en manos aliadas, reconstruido por una brigada de ingenieros ingleses. Sin embargo el general Víctor estaba obsesionado con tomarlo y desde allí bombardear Puntales. Cuando finalmente cayó, después de dos meses de ataque, y más de sesenta y cuatro muertos, lo único que consiguieron fue un duelo de artillería intermitente.

El otro fuerte, el de San Luis, estaba situado a orillas del caño del Trocadero. Aunque existiese con anterioridad, la reconstrucción del mismo, según Adolfo de Castro, se debió a un grupo de soldados franceses que estaban en Cádiz en 1706, a causa de la Alianza entre España y Francia durante la Guerra de Sucesión. El gobernador de Cádiz, Marques de Valdecañas, los destinó a los castillos del Puntal y Matagorda, y a un grupo de ellos designó la tarea de reformar el Fuerte de San Luis. Lo que en un primer momento sólo fue un reducto de lodo y estacas, fue revestido con cantería. Se logró con su ubicación impedir que si algún barco había logrado entrar en el saco de la bahía continuara en su avance.

La dificultad de este fuerte era lo bajo de sus lienzos o muralla y que al ser rectos y no curvos no resistía la fuerza del mar. La plaza de armas, las habitaciones y los almacenes eran tan bajos que en las grandes mareas quedaban anegados. El fuerte se convertía en una isla en la pleamar. A mediados del XVIII, veinte cañones defienden desde San Luis la entrada del Trocadero.

Antes de que los franceses llegaran en 1810, los fuertes fueron destruidos intentando evitar que lo usaran para disparar a Cádiz.