杨家祠堂始建于道光16年（1836年），木结构四合院，上下两层，占地 770平方米 ，由大门、戏台、过厅、廊房、正厅组成，呈长方形。戏台为单檐歇山顶，檐下饰如意斗拱，高 16米 ，四根台柱雕龙刻凤，戏台为穿斗式，正殿为抬梁式，整个建筑做工精细，极富民族特色，属县重点文物保护单位。
杨家祠堂座落在县城东北部的古城墙边。太子少保、果勇侯、镇竿总兵杨芳捐资修建于清道光十六年（1836年）。 祠堂由大门、戏台、过亭、廊房、正厅、厢房组成，是典型的四合院建筑，占地 770平方米 。戏台为单檐歇山顶，穿斗式结构，高 16米 ，面阔 7米 ，进深 8米 ；檐下如玉斗拱，台柱雕龙刻凤。正殿为抬梁式建筑，山墙为猫背拱，分为一明二暗三间。两边配有厢房。杨家祠堂设计精巧，做工精细。窗户、门、檐饰件均系镂空雕花，整体建筑具有鲜明的民族特色和很高的建筑艺术价值。