五塔岩始建于北宋，到了南宋时，因寺前兴建五座石塔，便称为五塔岩。五塔岩寺前的五座石塔，为宋堵婆式石构塔。塔高6米，基座四方形，塔身作3层，一层六角形，刻有文字，二、三层为鼓形，三层浮雕佛像，塔刹作葫芦状。五塔成群，一字排开，各塔之间相距2米，列于寺前板壁间，地势险要，居高临下，自下看上去颇为雄伟壮观。五塔岩寺宇建筑，依山就势，利用上下二个天然石洞，建造龙水禅楼和定光道场，犹如空中楼阁，别有风景。
五塔岩三峰耸秀，峰岩奇异多姿，景色迷人，山与石构成自然景物，有一段顺口溜为证：三狮相戏跑，石虎咧嘴口，和尚九十九，石人镇水口。绝顶三石列崎，称三公石。西为定光岩，中为中州岩，犹如天然石佛，东为灵水岩，岩下有一小井，名叫“潮汐井”，四时不涸。传说宋时杨文广率军入闽，曾驻营附近的关刀寨，成千上万兵士饮用此泉，取之不竭，饮之不尽。现井边刻有“郑公泉”三字，传说当年郑成功起兵也驻过此地，饮用此泉镌刻的。
五塔岩石奇洞多，自成天然。据《南安县志》载称：“灵水岩峰恋耸秀，中多石洞。”现在尚有五大石洞，虎空洞最大，洞内可容纳200多人，其他也可容纳数十人。岩洞四周，有石人、石马、石龟、石牛、石仙鹤、石佛、石香炉、石钟、石鼓、雷劈石、石巷、石桌、石椅等众多因石而异的景物。摩崖石刻有“第一山”、“灵水古禅”、“佛”、“盘古洞”等诸多因石而意的文字。