海源阁是我国历史上最著名的私人藏书楼之一，清道光二十年进士杨以增所建，总计藏书22万。它与江苏常熟县瞿绍基的“铁琴铜剑楼”，浙江吴兴县陆心源的“皕宋楼”，浙江杭州丁申、丁丙的“八千卷楼”合称清代四大藏书楼。其中以瞿杨两家所收藏的宋元刻本和抄本书为最多，因之又有“南瞿北杨”的美称，深为海内外学者所仰慕。海源阁藏书楼为单檐硬山脊南向楼房，面阔三间，上下两层，下为杨氏家祠，供杨氏先人牌位，上为宋元珍本及手抄本等秘籍收藏处。藏书楼前有一长条状小院，东侧有两座长廊式高台读书亭。楼下东首为通往后院的通道，杨宅第四进院内为海源阁明清版本藏书处。上层中间门额上悬挂“海源阁”阳言语匾额一方，为杨以增亲书，额后有杨以增自题跋语。 海源阁藏书浩瀚，是杨氏四代人潜心搜集的结果。杨氏第四代人杨保彝编著《海源阁宋元秘本书目》及《海源阁书目》计有208300卷有余。另有不载于书目者尚多。