Supone la tradición que antes d e edificar la Emita de San Sebastián, patrón de Órgiva, existía una fortaleza visigoda que dominaba desde la cúspide de una suave colina, asiento hoy de la ermita, el hermoso valle en el que se encuentra situada Órgiva y los poblados circundantes. Tras la destrucción a lo largo de los siglos de este reducto visigodo, en 1.589 se abrigaron los cimientos de la ermita sobre el solar del viejo castillo. Su edificio de una sola nave, de forma octogonal, ocupa una extensión de 130 m2. No presenta estilo determinado en sencilla arquitectura.