据寺内碑载，明朝成化年间，襄王朱见淑的爱纪杜氏病故，襄王看中了云居寺的风水，将爱妃葬在寺旁。因而，云居寺主持道圆法师大为不满，要率众离去，襄阳诸佛寺院纷纷上书谴责襄王，襄王无奈只好奏请皇帝出面调解。成化皇帝朱见深下了一道圣旨，让襄王就近择一风水宝地、，本府自备工料，建寺院一座给和尚。寺院建好以后还给了和尚，朱见深并将寺名改为“广德寺”。“敕赐广德寺”至今还悬在广德寺山门上。
广德寺南北长250米，东西长180米，护寺河长达1000余米。主要建筑有皇禅师石塔、东山门、南山门、天王殿、伽蓝殿、韦驮殿、钟楼、鼓楼、大雄宝殿、观音殿、藏经楼、多宝佛塔、厢房、配房和跨院等，共有房屋127间。由于“文革”十年浩劫，广德寺大部分殿宇被当作“四日”拆毁，到1978年，只有天王殿、藏经楼、多宝佛塔、部分厢房存在。
广德寺内多宝佛塔，又名“五星塔”，久负盛名，雄伟壮观，其建筑风格全国独一。1988年1月国务院公布为第三批全国重点文物保护单位。塔身系砖石结构。通高17米，分塔座和塔首两部分。塔座高7米，为八方形四券门，上造浅檐，下奠矮基，角贴圆柱，石雕龙首；每方设一佛龛，龛内供一石雕趺坐莲台佛像，四门皆有通南道入内，俗称“八方四门”。正门南向，上额石匾阴刻“多宝佛塔”。檐下横列斗大“佛”字3个。塔内砌八角形亭式塔心柱，也有壁龛坐佛。北面通南一侧，有石阶梯可登座顶。塔身五座小塔和覆盖楼梯口亭组。座顶主塔喇叭塔，高约10米，八方须弥座，刻仰复莲瓣四层，上承复钵式塔肚；再承须弥座，四面饰嵌佛石龛，座上置相轮，顶为铜铸莲花宝顶。主塔四方，各立一小塔，塔身作稍矮，为六角攒尖顶，顶上叠密檐三层，塔身也有嵌佛石龛。东侧阶梯。覆盖的方亭为四角攒尖形，佛塔内外共有佛像48尊。
1991年，市政府拨专款180万元，维修了广德寺藏经楼、方丈院、知客楼、天王殿及山门，修复了大雄宝殿。经省人民政府批准，1997年1月，广德寺为佛教活动场所正式开放。襄樊的广大佛教界人士和信众十分感谢，纷纷表示：要在法律和政策允许的范围内开展正常的宗教活动，要遵纪守法、爱国爱教，提倡人间佛教，壮严国土、利乐有情，为提高襄樊的知名度，为襄樊的物质文明和精神文明建设多做贡献。