Aunque el autor de la imagen es desconocido, se cree que fue creado en la segunda mitad del siglo XVI.

La sagrada imagen ha estado en la capilla de la Iglesia del Sagrario de la S.I.C. desde sus inicios, tanto en la antigua como en la nueva iglesia a partir de mediados del siglo XVII, siendo la primera imagen en ocupar la capilla.

Desde principios del siglo XVII, la Hermandad contó con el patrocinio del gremio de carruajes, cuyo oficio era el "uso y trajino de los carruajes de la Real Aduana". Se cree que la Hermandad tenía una estrecha relación con la Corona Real.

La imagen de Nuestro Señor Jesús Nazareno representa al Cristo abrazando con ambos brazos la cruz que le fue entregada. Es una de las imágenes más antiguas de la ciudad y la procesión de nazarenos más antigua. Durante la última década del siglo XVII, la imagen tuvo que ser trasladada de la capilla de la Iglesia del Sagrario a la capilla del Santísimo Cristo de la Corona debido a las obras en la bóveda.

Aunque la información sobre la antigua Hermandad es escasa, sabemos que fue una organización importante que alcanzó su mayor apogeo en el siglo XVIII. Muchos personajes ilustres de la historia de la ciudad pertenecieron a ella, como Pedro Roldan, José Montes de Oca y Matías Arteaga, así como numerosos canónigos de la Catedral, el Marqués de Paradas y los Condes de Cantillana.

La Hermandad administraba varias fincas en Rascaviejas (en la collación de San Marcos) y corrales de vecinos en la calle Castilla. Tenía una conexión especial con la Hermandad de Jesús Nazareno (El Silencio), y algunos cabildos indican que se consideraba a los miembros de ambas hermandades como hermanos sin tener que pagar entrada. También compartían actividades y oficios con la Hermandad del Santo Entierro.

En 1990, jóvenes de la parroquia iniciaron la recuperación del culto a la imagen de Nuestro Señor Jesús Nazareno, creando un grupo comprometido.

En 1994, la Hermandad recibió el título de Asociación Parroquial.

Se aprobó su reorganización y erección como cofradía.