北宋徽宗大观元年（1107年），后人在寺前建塔三座，古寺因之更名为“三塔寺”。到了明代洪武年间，因皇子皇孙要去盱眙（古泗州所辖）、凤阳祭拜明祖陵和明皇陵，出南京城渡江后有水相隔，于是拆了三塔，把砖块运到江浦境内修建毛垣桥（位于今天的滁宁公路上），三塔尽毁，古寺元气大伤。直到明天启年间，三塔寺得到重新修缮。