传说张天师初到龙虎山炼丹修道时,土地爷不肯,问张天师有什么本事,张天师说有宝剑和印、符。土地爷问:宝剑和印、符有什么法力?天师说:印、符可以召劾万灵,宝剑可以开天劈地。土地爷说:请你试一试。于是天师手提宝剑,提神运气,手指画诀,大喝一声,挥剑朝面前一座山砍去,霎时只听天崩地裂一声巨响,面前一座山自上而下被砍出一道口子。土地爷吓得连连叩头,同意天师在龙虎山修道,并愿意随时为天师效劳。后人就把这座山叫试剑石。
2002年在两山之间半空架设了“仙风桥”,从此“天堑变通途”。仙人城峰顶有道观“兜率宫”,是张天师吟诗作画的地方。世传道教教主老子曾云游此地结庐炼丹,并向祖天师张道陵传授道法玄机。第四代天师张盛从四川回到龙虎山,就在仙岩上面修建道观,奉祀老子神像。每年的农历二月十五老子诞辰日,都要在仙人城举行盛大的醮典,纪念老子。唐玄宗亲赐第十五代天师张高在老子炼丹的地方建兜率宫。
唐代大诗人顾况曾泛舟至此,遥望仙人城端坐云天而不得上,便写下一首《安仁港口望仙人城》的诗描述见闻,诗曰:
楼台采翠远分明,
闻说仙家在此城。
欲上仙城无路上,
水边花里有人声。
宋神宗熙宁年间(1068~1078年),有宝月禅师来仙岩修建仙岩上寺,随后,尼姑们也看中了这块地方,在仙人城下的洞穴中建仙姑庵修行。于是,仙人城成为道佛两教共同的圣地。鼎盛之时,仙人城有道士20人,和尚24人,尼姑18人。两教和睦相处,各奉其教,共修正果。