La iglesia de San Lorenzo, de su conjunto medieval del siglo XIV no hay apenas restos y el elemento arquitectónico más valioso en la actualidad es la capilla de San Fermín.

La que fue iglesia-fortaleza se encuentra en uno de los extremos de la calle Mayor con la calle Taconera y formaba parte del sistema defensivo de la ciudad. Del edificio del siglo XIV quedan restos ocultos. La nave actual es de Juan Antonio de Pagola de 1805, es una simple nave neoclásica. La fachada anterior, que era barroca sufrió las bombas disparadas por el general Leopoldo O'Donnell desde la Ciudadela, por lo que fue desmontada y realizada la fachada actual por Florencio de Ansoleaga en 1901. La verticalidad original disminuyó al desaparecer un cuerpo piramidal sobre el de campanas.

La capilla de San Fermín, donde se encuentra casi todo el año el santo (copatrón de la Navarra), fue construída por iniciativa del Ayuntamiento según el proyecto de los arquitectos Santiago Raón, fray Juan de Alegría y Martín Zaldúa en 1696, con obras que se prolongaron hasta el 1717. La planta es de cruz griega, orientada hacia el Rincon de la Aduana. Emerge en el crucero una linterna, realizado en ladrillo rojo, con zonas con cerámica de color con el escudo de la ciudad y en contraste con la piedra de la galería de arcos presente en la planta baja. Inicialmente fue barroca, pero en la reforma de Santos Ángel de Ochandátegui de 1797 le dio un ambiente neoclásico. En la restauración de 1989 se buscó volver a la anterior.