华林书院是江南古代四大书院之一，与岳麓书院、白鹿洞书院和鹅湖书院齐名，其址在华林浮云山上。华林书院最早是胡氏家族私塾，后发展为华林学舍，宋初胡仲尧将其扩建为华林书院。它是一所家族化书院，曾为大宋朝廷培养大批人才，仅宋代华林胡氏一门就走出进士55名，官至刺史、尚书、宰相者不乏其人，其中大多是华林书院培养的。
华林书院是随着胡氏家族的兴盛创办、发展的，它也必将随着胡氏家族的离散、衰落。 毕竟，皮之不存，毛将焉附？书院传到胡仲尧的曾孙，官至南宋刑、兵、吏三部尚书胡直孺手中时，达到全盛时期。但随着胡氏子孙外出做官的日渐增多，昔日“同居共爨八百口”的华林胡氏逐渐迁往各地。曾经风风光光，热热闹闹的华林山开始沉寂下来。到后来，胡直孺将书院的大部分财产交给浮云宫管理，书院虽然尚存，规模已经很小。其后虽然有过几次小小的中兴，但已是每况愈下。明代正德五年(1510年)，华林农民起义爆发，浮云山是起义军的主要据点，几经战火，书院名存实亡，一蹶不振。清康熙元年(1662年)，胡氏后裔、奉政大夫胡明垣来到浮云山，寻找书院旧址，却只见残墙瓦砾，荆棘丛生，不禁感慨万千。现仅存遗址。近年奉新市政府已斥资重建华林书院景区。