该山是个典型完整的放射状的火山塌陷盆地，这一中生代火山形成的山峰，构成丰富多姿、奇妙无穷的岩石山洞。加上人们赋予种种的神话传说，使这一自然景观增添了迷人的色彩。很多岩石上留有神奇的，有的直削悬立如碑坊，如城门，有的如笔架、如卧榻、如花朵、如飞凤等各种动物。这里洞群密布，大小多达一百多处，洞中有洞，迂回曲折。相传南宋绍兴年间，永泰道人张自观、仙游道人肖朗瑞和闽清道人章朗庆曾在此斗魈魅。岩石上数十处的脚印、指印以及剑插石、铁砧石、洗剑泉、石面盆、演法自等遗迹。
山麓的石壶古寺，始建于明崇帧庚辰年（164O年），1939年兵乱中烧毁，近几年来已由侨胞、本县乡民集资修复。寺前有龙池，池内卧着石牛，在水中似沉似浮，形态逼真。
石牛山还留有古代“一天门”、“二天门”、“三天门”、“长生塔”、“石壶福地”、“洞天”、“大客台”和一些字迹模糊不清的摩崖诗刻和字刻。