宋道士刘碧云、张希微建天游观，嗣后有道士张虚一居此。明正德年间，藩司蔡潮扩建道观屋宇。嘉靖五年(1526年)，冲佑观道士詹本初重修，正殿也称三清殿，殿后为宣经楼，其右又有竹波楼，可俯瞰胡麻涧。观内多有名人题匾：耿定力题“天游”，沈儆炌题“凭虚御风”，葛寅亮题“天游阁”，韩士望题“一览台”，张瑞图题“最胜”、“升云驻鹤之巅”。观已久废，匾额无存。1983年，在原址重修仿古建筑一座，构体古朴、庄严，飞檐翘角，题匾为“遨游霄汉”，供奉开山祖师彭祖及其两个儿子彭武、彭夷的塑像。此处为上天游与下天游的分界，自天游观北折为上天游，南折则为下天游。

正德二年八月，赴谪贵州的王阳明诡托投江南遁，沿富春江，人广信，经建阳，遁入武夷山，游九曲，拜武夷精舍，访天游观道士，有诗题壁，即其代表诗作《泛海》：“险夷原不滞胸中，何异浮云过太空?夜静海涛三万里，月明飞锡下天风。”