1076年，56岁的王安石第二次出任宰相不久，与保守派发生争端，遂于是年10月复求罢相，赵顼应允，给王安石一个“判江宁府”的官衔。回到金陵后，王一直没去衙门视事，第二年六月辞官，在城东门到钟山途中的白塔为自己建造了这所居室。因主塘距江宁城东门7里，距钟山主峰也是7里，所谓半途上处，故将居室命名为半山园。在园内，王安石结交了许多高逸之友，包括米芾、李公麟、欧阳修和苏东坡等。有一次苏东坡乘船经过金陵，王安石特地骑着驴子，穿着粗布服到江边去迎接。苏东坡也不冠而敬揖，日：“轼今日以野服见大丞相。”王安石笑着说：“礼岂为我辈设哉！”既而两人说佛吟诗，王安石还邀请苏东坡同游钟山，并各自赋诗纪游。可见两个人政见虽不同，但私交和诗文之谊还是非常深厚的。王安石的文章峭拔深刻，卓然自成一家，为“唐宋八大家”之一。而他的诗词，也“与众颇异。要之渊源风雅，洗削浮华，可谓无邪者也。”经粗略统计，他有关南京的诗词作品达三百首左右。
1084年，王安石得了一场大病，神宗派国医到江宁府给他治病。病好以后，他上书皇帝请求以自己的住宅改建寺院，神宗赐额“报宁排夺”，又称半山寺。
明代亮山国划入皇宫禁地范围内，清道光时两江总督陶澍在半山国故址重建半山寺。咸丰时被毁，同治九年（187年）重建，宣统时重修。