La Hermandad del Huerto de Sevilla tuvo su origen en octubre de 1560, según la tradición. Se fusionaron una Hermandad del Rosario establecida en una ermita que luego se convirtió en el Convento de Monjas Carmelitas de Belén, y otra de penitencia que se formó en el hospital de las Cinco Llagas.

La Hermandad acuerda comprar un terreno en el Compás del Convento a la Comunidad de Padres Dominicos para construir una Capilla propia.

Bajo el pontificado de Inocencio XII, la Hermandad recibe el título de Pontificia debido a la vinculación de varios Papas a la Cofradía del Rosario. Además, se incorpora la Capilla de la Virgen María del Rosario y Oración en el Huerto a la Basílica de San Juan de Letrán en Roma, y la Hermandad comienza a usar en su escudo la Cruz de San Juan de Letrán.

Fecha desconocida en el siglo XIX: La Hermandad comienza a transmitir la devoción al Rosario en Sevilla.

Siglo XIX (fecha sin determinar): Miembros de la familia Real española se vinculan a la Hermandad, incluyendo los infantes Duques de Montpensier y sus hijos, la reina María de las Mercedes de Orleans, Isabel II, Alfonso XII y María Cristina de Habsburgo-Lorena. También, la reina Victoria Eugenia se convierte en Hermana Mayor de Honor y efectiva.

La capilla fue saqueada y destrozada por las turbas, incluyendo la imagen del Santísimo Cristo de la Salud y los apóstoles del "paso". Sin embargo, las imágenes del Señor, la Virgen y el Ángel se salvaron porque no estaban en el lugar en ese momento. Los hermanos trabajaron arduamente para reconstruir lo perdido con aún más riqueza.

La capilla se restauró y bendijo el 14 de diciembre de 1952, y la Hermandad regresó a su sede canónica.

La canastilla del "paso" se estrenó en 1957 y se restauró y doró de nuevo entre 1985 y 1987.

El manto recogido y la saya a juego de tisú de plata, con encajes y bordados en oro, son una obra de arte realizada en 1975 por Esperanza Elena Caro. Las Hermanas de la Cruz son las camareras de la Santísima Virgen del Rosario.

Se añadieron cuatro capillas con los evangelistas, obra del escultor Ricardo Rivera.

La Sagrada Imagen de María Santísima del Rosario en sus Misterios Dolorosos fue coronada canónicamente por decreto del Rvdmo. Prelado.