据清代嘉庆年间编纂的《安化县志》记载，仙人府以前叫“灵龟洞”。其因是洞内瀑布下有灵龟状巨石，故名。

长寿瀑和灵龟石均在“乐仙宫”内。瀑布的形成是仙人桥下有一小溪流至“乐仙宫”洞沿时，被一块石头分成两股，然后沿悬崖飞下，形成武陵源天下山上的鸳鸯瀑。游客如爬上“灵龟”，站到瀑布后，极目“聚仙厅”时，不但觉得自己进了花果山的“飞帘洞”，而前面是一片“月朦胧，鸟朦胧”的感觉。唐代大诗人李白有诗赞洞内飞瀑：“瀑布挂北斗，莫穷此水端，喷壁洒素雪，空蒙生昼寒。”