浮山四面悬崖峭壁，层石嵯峨，螺纹盘旋，像个石印，故又名玉印山。拾级而上，但见满山古树葱茏，怪石嶙峋。山门右边有浪沧亭，有民国26年（1937年）李济深手书石刻“浮山”二字以及历代书法家作品。门两旁有一副以青石精镌的篆书对联：“访逸老芳迹钓台犹在，作中流砥柱玉印常浮”。左边有环碧亭，结构玲珑，绿树掩映，飞檐画栋，工艺精巧。登亭凭栏西望，临、贺二水蜿蜒而来，与浮山配合，有“二龙抢珠”之称。每当春秋时节的清晨和傍晚，江面常常泛起一层薄雾；俨如轻纱将小山托起，称“玉印晓岚”。
山顶上有陈王祠，始建于北宋年间，1983年重修，飞檐垂斗，壁画高列。相传是为了纪念陈秀才而建的。陈秀才生于隋末唐初，附近的江平村人，自幼聪明好学，满腹文章。只因出身寒门，三次赴京赶考不第，皆名落孙山。遂放弃功名，回乡隐居于浮山。日里给乡亲摆渡，暇时吹箫歌垂钓。江岸悬崖上至今犹有“钓台”遗迹。因其平生利人济物，乐善好施，甚得乡民爱戴。他于唐武德年间（618年～626年）无疾而终。传说是积德成仙去了，后又常显灵庇护乡民。
为纪念其恩德，乡民便在浮山立庙祭祀，并尊奉他为“陈候大王”，庙称“陈王祠”。每逢陈王生日（农历四月二十六日）和忌日（农历五月十九日），远近百姓都要来此纪念他。万余两万人到会，聚于山上、河边，放花炮，赛山歌，热闹非常。纪念活动分为“炮期”和“歌期”，尤以歌期为盛，往往延续多日。新中国成立后，“炮期”逐渐变成以歌为主。期间张灯结彩，歌舞处处，常常通宵达旦，故又称之为“点灯会”。
1994年，浮山景胜已被定为自治区级风景名胜区