明末清初时候，一位受法于浙江宁波府天童寺的川籍弟子就要归去。指点他的密云大师掘了两棵桂树让他背上，明示说：“一路晓行夜宿，桂树在哪里落根，那里便是你的安身地，归天处。”据说这位弟子就这样选中了梁平县金带乡的这方圣地，创建了双桂堂。 双桂堂的创始人破山和尚，博学多才，不拘一格收纳信徒，寺规也张弛有度，一生繁衍了弟子一百一十多人，这些弟子后来分赴四川、云南、贵州，离去后中兴了许多毁于战乱的寺院，故有“云贵川业林祖庭”之尊。破山和尚亦因此功彪佛史，在东南亚的一些地方至今仍保存着破山庙一类的纪念建筑。
双桂堂前后经二百余年建成，三百二十八间房舍，四十二个海霸天井，阔阔大度于大面积的山间坦原上。主要殿宇皆由巨大石柱支撑，壮丽非凡。宽大的木柱廊道将所有建筑连成一气，雨天走遍全寺也不湿鞋。四周翠竹葱郁，古柏参天，清溪环绕，白鹤如云，当其晨钟暮鼓之时，幽幽冥冥之中，你仿佛就听见那广远年代的两株桂树正在向你吟诉广远年代的故事。