吕祖殿位于宾日楼南，坐北朝南布局，由重门、正殿和东西两底组成，皆为庙宇式建筑。清光绪三年(1877)知府贾湖、总兵王正起倡建。正殿为三开间硬山结构，北壁与宾日楼联体，长9．04米，进深8．05米。殿内设高台神龛，中祀吕岩(吕洞宾)坐像，左右侍立药童和柳树精。
吕岩“寿”字碑位于正殿前明廊西端，面东而立。“寿”字草书，笔力雄健，盘郁苍劲，碑下款署“光绪甲申仲冬勒于蓬莱丹崖之吕祖阁志斋郑锡鸿谨摹”。江西九江烟水亭纯阳殿“寿”宇碑之“寿”字，与此一般无二，当即为摹者所据。九江碑上尚有篆书“九转丹成”4字，意草书“寿”宇系草书“九转丹成”4宇拼合而成。
吕祖殿东，有黄克缵《东牟观兵夜宴蓬莱阁》诗刻石、姚延槐“海天一色”碑等文物。