Cayetano del Toro organizó en 1908 una exposición de objetos de la época de la Guerra de la Independencia. La falta de locales adecuados hizo que del Toro, jefe del Partido Liberal de Cádiz, cediera al efecto los salones del Círculo Liberal, en la calle Benjumeda. El éxito fue completo, con la única salvedad de la falta de espacio. En vista de ello, a cuatro años del primer centenario de las Cortes de 1812, el ilustre médico y veterano político lanzó la idea de contar con un Museo Iconográfico que recogiera todo lo referente al Sitio y Cortes de Cádiz. La idea fue bien acogida, pero pronto quedó en el olvido.

En enero de 1910, del Toro vuelve a ocupar la Alcaldía de Cádiz y retoma el proyecto de construcción del museo. El primer lugar elegido fue el propio Ayuntamiento, pero pronto se desechó la idea por falta de espacio.

Del Toro se fijó entonces en los bajos de la Academia de Bellas Artes y en el pequeño jardín existente en el actual callejón del Tinte. También fue rechazado el proyecto, en esta ocasión por problemas de competencias sobre el uso y disposición de los locales.

Finalmente, el Ayuntamiento nombró una comisión para que visitara distintas fincas de la ciudad y eligiera la más adecuada. La comisión estaba formada por el arquitecto municipal Juan Cabrera Latorre; el director del Museo Arqueológico, Pedro Riaño de la Iglesia; y Pelayo Quintero Atauri, de la comisión de Monumentos Históricos y Artísticos.

Esta comisión, tras visitar numerosas casas, se decantó por las situadas en los números 9, 11, 13 y 15 de la calle Santa Inés. Estas casas no solamente lindaban con el Oratorio, sino que también habían sido utilizadas por los diputados para diversos fines.