La iniciativa de fundar el colegio jesuita de San Luis Gonzaga partió de un grupo de padres de familia-empresarios de la provincia de Cádiz, siendo su principal promotor el gaditano Antonio de Zulueta Madariaga (1815-1886). Se pretendía establecer un colegio de segunda enseñanza en la Baja Andalucía que ofreciera una educación católica de calidad, evitando así la salida de jóvenes al extranjero, donde -argumentaban- existía el riesgo de que estos dejaran "la fe y las buenas costumbres". El 27 de mayo de 1864, en representación de la Sociedad Fundadora del Colegio de San Luis Gonzaga, el señor Zulueta, Juan de Silóniz Ortiz y Luis Díez Fernández de la Somera suscribieron un convenio con el provincial de Castilla de la Compañía de Jesús, padre Eugenio Labarta (1807-1895). Las partes acordaron que el establecimiento fuese dirigido y administrado por la orden jesuita y que las clases comenzaran provisionalmente en la villa de Puerto Real en septiembre de ese año. También convinieron la construcción de un nuevo edificio, en localidad por determinar, para lo cual los socios fundadores -de Cádiz, Jerez, El Puerto y Sevilla-aportaban un capital de dos millones de reales, a devolver por la Compañía de Jesús sin interés alguno.

Como rector del incipiente colegio se nombró al padre Bartolomé Munar (1815-1869), hasta entonces titular del cargo en el internado de Carrión de los Condes (Palencia) y fundador del Real Colegio de Belén en La Habana diez años atrás. En el curso inaugural en Puerto Real fueron admitidos unos 50 internos. Debido al aumento de solicitudes de ingreso, el colegio de San Luis se trasladó a El Puerto de Santa María, funcionando durante dos años académicos (1865-1866 y 1866-1867) -ya con un centenar largo de alumnos- en el antiguo Hospicio misionero de Indias de la Compañía de Jesús (calle de los Moros), propiedad entonces del bodeguero Manuel María González Ángel. A pesar de las reformas realizadas en el edificio, no era este "ni grande, ni idóneo, ni saludable", como escribió el hermano jesuita Agustín Pérez Aedo. Entretanto, en los terrenos del ex convento de San Francisco de El Puerto de Santa María se construía de nueva planta el edificio que hoy contemplamos. Y es que a principios de agosto de 1864, el alcalde de la ciudad -José Francisco Barreda Pérez- se había dirigido al padre Munar para comunicarle que un grupo de portuenses había conseguido adquirir el antiguo convento franciscano con su espaciosa huerta, "cuyos locales reúnen todas las condiciones que pueden apetecerse", y que donaban los terrenos a los promotores del colegio para la edificación del mismo. La oferta fue aceptada en enero de 1865 y se encargó el proyecto al arquitecto Balbino Marrón Ranero, que lo firmó en Sevilla el 1 de junio, diseñando un establecimiento con capacidad para 300 alumnos internos. La Junta Provincial de Obras Públicas aprobó los planos en noviembre de 1865 y acto seguido el alcalde portuense Francisco de Paula Vergara dispuso que se trasladara el dictamen a Rafael Rivero de la Tijera, presidente de la Comisión Fundadora del colegio y su homólogo en Jerez. El proyecto inicial de Balbino Marrón difiere del que resultó finalmente, al suprimirse -por ejemplo- "la crujía que separaba los dos patios, formándose, así, un amplísimo espacio de planta rectangular y casi inabarcable que ha debido ser articulado con farolas" (José R. Barros Caneda, El Puerto de Santa María. La ciudad renovada).

Ya en marzo de 1865 se habían iniciado los trabajos de replanteo del colegio de San Luis, circunstancia que aprovechó el arquitecto provincial Juan de la Vega para presentar un "Proyecto de alineación parcial para la plaza y calle de San Francisco", en el que se contemplaba, entre otras actuaciones, la prolongación de la calle de las Cruces hasta la playa, atravesando el erial que entonces existía. Con esta nueva vía se pretendía facilitar la salida de las aguas pluviales que, provenientes de las calles de San Francisco y Cruces, se estancaban en la plaza, dando lugar a un enorme barrizal delante del colegio. La corporación municipal dio el visto bueno a esta alineación el 23 de febrero de 1866, acuerdo que fue ratificado el 10 de septiembre de 1867 por el Ayuntamiento que entonces presidía Juan de Mata Sancho Díez de Alda.

A mediados de octubre de 1866 se había ejecutado un tercio de la obra del nuevo colegio, pero se necesitaban 600.000 reales adicionales para su continuación, por lo que una junta de socios autorizó a la Comisión Fundadora para que emitiera un empréstito al 6% de interés, amortizable en seis años y garantizado por la hipoteca del edificio. El más destacado de los suscriptores fue el extractor de vinos Bartolomé Vergara Vegas (1802-1875), vecino de El Puerto, que aportó 30.000 reales. Además, se seguiría exigiendo el donativo de entrada de 4.000 reales a los alumnos que no fuesen hijos de accionistas. El importante legado que por estas fechas recibió la provincia jesuita de Castilla de la opulenta santanderina Justa López Martínez se destinó parcialmente a rematar la construcción del colegio. Por su parte, el padre provincial envió siete hermanos coadjutores para que ayudaran en los trabajos y se pusieran al frente de los obreros. Así, después de algo más de dos años de obras, a primeros de julio de 1867 (hace ahora un siglo y medio) quedó terminado el grueso del edificio -un rectángulo de 129 x 63,50 metros- de la plaza de San Francisco, hoy del Ave María. En el curso 1867-1868, la comunidad jesuita casi se duplicó y estuvo compuesta por 25 miembros, mientras que los alumnos que estrenaron el edificio fueron ya 175 (155 internos y 20 externos). La revolución de 1868 provocó el cierre del colegio de San Luis, aunque pudo funcionar en Jerez como "colegio libre" entre 1870 y 1875. En septiembre de este año se reabrió en El Puerto, comenzando entonces con gran florecimiento su segunda época, que se extiende hasta 1924.