Tanto el PSOE como el PP tuvieron en sus manos el derribo del edificio de la Aduana, o por lo menos el inicio de este trámite, en 2014. En aquel momento los socialistas estaban en el gobierno de la región mientras que los populares aún estaban al frente del Ayuntamiento de Cádiz. Aunque ambas administraciones, tras años de desencuentro, tenían claro que este edificio había que demolerlo, tal y como en un principio estaba previsto en el Plan Plaza de Sevilla, ninguna dió el primer paso.

En febrero de 2014 el entonces delegado de la Junta en Cádiz, Fernando López Gil, declaró a Diario de Cádiz que la catalogación de la Aduana Nueva como edificio protegido, aprobada por la propia administración regional seis años antes y lo que evitaba su derribo, era un procedimiento "reversible". Para lograrlo se pedía que se realizase un procedimiento como el que llevó a la protección pero a la inversa: si en su momento se pidió a la Junta la defensa del inmueble ahora se tenía que hacer una petición reclamando su demolición.

A comienzos de 2014 la Junta de Andalucía llevaba ya unos meses de acercamiento al Ayuntamiento de Cádiz con el que se encontraba enfrentado desde la llegada al poder de la popular Teófila Martínez en 1995. Entre los proyectos que se querían desbloquear estaba el Plan Plaza de Sevilla y, dentro de este, la protección del edificio de la Aduana, al tapar todo el frontal de la histórica estación férrea de 1905.

López Gil indicó a este diario que si se pedía el derribo "entonces sí podrá anularse la protección de la Aduana". A la vez afirmó que "Si es el Ayuntamiento de Cádiz el que lo pide, iremos de la mano a la Consejería de Cultura para decir que todos estamos dispuestos" a sacar adelante esta disposición.

Sin embargo, aunque Junta y Ayuntamiento por fin coincidían en este proyecto, no se dieron los pasos oportunos para ello. En aquel momento, desde el gobierno del PP en la capital se indicó que no se planteaba esta solicitud ante el "temor a quedarnos solos" y que finalmente la Junta no lo aprobase.

Igualmente había un segundo problema: la administración central, propietaria del edificio, no ponía ningún impedimento para su derribo aunque para ello se tenía que ceder una parcela y construir el nuevo equipamiento, con el coste que ello suponía. En el primer documento del Plan Plaza de Sevilla ya se preveía instalar a lo largo de la avenida de Astilleros la nueva sede de la Aduana y, también, de la Casa del Mar.