El 3 de marzo de 1906, 8 oficiales y 91 albañiles comenzaban a derribar las murallas de Cádiz. Tres años más tarde, el lienzo existente entre la actual calle Corneta Soto Guerrero y la Fábrica de Tabacos había desaparecido por completo, dando paso a lo que sería el paseo de Canalejas.

Pero el palacio de la Aduana, actual Diputación, seguía rodeado de murallas y lo mismo ocurría con la Fábrica de Tabacos, que tenía adosado los restos del viejo baluarte de los Negros.

El derribo, sin embargo, no podía continuar. El Ayuntamiento de Cádiz no había incluido esos extremos al solicitar permiso al Gobierno y se carecía de autorización de la Ministerio de la Guerra.

Hubo que volver a empezar con los engorrosos trámites administrativos. El Ayuntamiento formuló una nueva petición de derribo, recordando que las murallas a derribar, como las ya desaparecidas, carecían de valor defensivo.

Afortunadamente Segismundo Moret, gaditano y diputado por Cádiz al Congreso, había vuelto a ocupar la presidencia del Consejo de Ministros y aquí, por si fuera poco, se estaba levantando un monumento en su honor. Moret ordenó al ministro de la Guerra, general Luque, la resolución del asunto y por fin pudo llevarse a cabo este nuevo derribo.

Cuando se hace pública la noticia surgió un nuevo inconveniente. El Ayuntamiento de Cádiz se había comprometido a abobar 40.000 pesetas al Ministerio de la Guerra como compensación por el desalojo de las viejas murallas. De esa cantidad solamente se habían abonado 500 pesetas.

El alcalde, Cayetano del Toro, telegrafió a Moret garantizando el abono de esa cantidad. El derribo de las murallas de Cádiz pudo entonces continuar.