相传1600多年前印度僧人慧理来杭州，看到这里山峰奇秀，以为是“仙灵所隐”，就在这里建寺，取名灵隐。
寺内主要建筑有天王殿和大雄宝殿。天王殿入口的弥勒佛坐像，已有200年历史。弥勒佛背后的护法天神韦驮像为南宋时作品。 大雄宝殿高33.6米，是中国保存最好的单层重檐寺院建筑之一。殿内正中有贴金释加牟尼像，净高9.1米，加上莲花底座和佛光顶盘，高达19.69米，坐像用24块香樟木拼雕而成，精细而庄严。
大殿两侧分列“二十诸天”和“十二圆觉”像，神态各异，栩栩如生。 殿后侧有海岛立体群塑，共有浮雕150多尊。大雄宝殿、天王殿两侧有五代时所建的石塔和北宋开宝二年（969年）所建经幢，距今已有1000余年。清康熙皇帝曾题“云林禅寺”四字。灵隐一带的山峰怪石嵯峨，风景绝异，印度僧人慧理称：“此乃中天竺国灵鹫山之小岭，不知何以飞来？”故称“飞来峰”。
飞来峰又名灵鹫峰，山高168米，山体由石灰岩构成，与周围群山迥异。无石不奇，无树不古，无洞不幽。飞来峰的厅岩怪石，如矫龙，如奔象，如卧虎，如惊猿，仿佛是一座石质动物园。山上老树古藤，盘根错节；岩骨暴露，峰棱如削。明人袁宏道曾盛赞："湖上诸峰，当以飞来为第一。
飞来峰奇石嵯峨，钟灵毓秀，在其岩洞与沿溪的峭壁上共刻有五代、宋、元时期的摩崖造像345尊，其中尤以元代藏传佛教（喇嘛教）造像最为珍贵，堪称我国石窑造像艺术中的瑰宝，故为全国重点文物保护单位。
飞来峰西麓有冷泉掩映在绿荫深处，泉水晶莹如玉，在清澈明净的池面上，有一股碗口大的地下泉水喷薄而出，无论溪水涨落，它都喷涌不息，飞珠溅玉，如奏天籁。明代画家沈石田诗云："湖上风光说灵隐，风光独在冷泉间。"冷泉池畔建有冷泉亭。