余杭有两个塔，塔山文化公园这边上的就是天塔，在山上，另一个在隔河的对岸，在地上，称为地塔，放眼望双塔，对影映苕溪，隔溪相对峙，形成“双塔耸秀”景观，给古镇频添了不少诗情画意。据清嘉庆《余杭县志》载：“安乐塔，吴越王子筑庵养疴于此而愈，故名安乐，今遗塔现存”。安乐塔始建于五代（公元907-947年）。相传吴越王之子钱锷，养病于余杭而愈。便在原狮子山顶，兴建宝塔。取名安乐塔，狮子山改名安乐山。原塔为六面五级，明邑人董钦增筑至七级，有小雷锋之称。乾隆庚寅年（公元1770年）邑人潘琦董修塔，有铁顶，后遭雷击损毁。嘉庆甲子年（公元1804年）邑人集资补建。民国10年（公元1921年）又遭雷击，塔顶毁坏。1986年重修。

弘治十六年八月，在杭州养病的王阳明与来访的夏鍭共游塔山，有诗唱酬。夏鍭作《与王伯安夜登塔山》诗：“秉烛暮何之？闻山不敢迟。白云封欲遍，清露湿相宜。僧定自禅榻，鹤惊空树枝。有怀支许辈，塔尽草离离。”