據今800多年前的南宋初期,武陵蠻王向氏,不皈王化,自稱天子,踞險抗雄?朝廷便遣楊門五女提師進剿?向王匿于洞中,有兩位民婦侍護?官兵攻而不克,楊八姐腦怒,便炮圮洞門?只見巨石空裂,一男二女便哀死洞中?土人見晨暮之際,崩石隙間有煙霞靄靄,如虹如霓,深感其義,傳為仙蹤魅跡?
元季,道士張玄陵云游至此,路憩崖下,依松入夢,見二婦人持拂塵而立,道貌仙姿,一婦曰:“吾乃紫姑也?”指另一婦曰:“彼乃霞姑也,我們與向王禁于此地,得呂祖超度,羽化為仙?向王被封為青崖山君,宿天子園?令我等在此保佑民眾,今已冷落三百余年矣?”言罷,道士夢醒,譫言其事,后便在此結草為庵,始開山禁?
明嘉靖中期,道士張香庭住在草庵,時逢荊南分守兼九(溪)永(定)兵備胡桂芳過此,以為婁山之陰,洞云深處而無一寺一觀,為淳民風,便出資建觀?明崇禎末年,此觀被賊所毀?到清朝雍正年間,當地土人掘得仙人足跡石后,又聚資重建?由于當時慈利縣城有紫霞觀一座,此地為慈邑所轄,便在此同名建觀,合祀為一?同治年間,此觀又毀于兵燹?地老天荒,知者少也?直到1992年,由于武陵源旅游業興,人們見山水風光奇殊,人文景觀遜色,由是,俚人懷古,集資于故址重建今日之紫霞觀?