1937年7月7日，日本侵略中国的开端“七.七”事件爆发，一声蓄谋已久，旨在灭亡中国的侵略战争从此全面开始。到1938年底，中国军队虽然顽强抵抗，无奈装备欠佳，训练不力，被日军侵占了半壁江山，无数爱国将士鲜血染红了中华大地。 此时，广州和武汉相继失守，处于大后方的湖南省战略地位异常重要起来，成为武汉之后的又一处搞战大本营。南岳衡山素有五岳独秀之誉，公路铁路水路交通异常便利。由国民政府军事委员长蒋介石亲自主持召开了“第一次南岳军事会议”，当时还邀请了中共中央副主席周恩来和八路军参谋长叶剑英。两党以民族大义为重，携手抗日。
在这个会议上，许多将领提到阵亡官兵多“暴尸战场”，不能掩埋，言者伤心，听者敛容。蒋介石听后对此非常痛心，会后把陈诚、薜岳两位将军叫来，郑重安排了修公墓的事。 后陈诚调任四川，而薜岳兼任湖南省政府主席，所以建公墓的事基本上由薜岳在主持。
由于此期间一直在与日军交战，加上勘察、征地、筹款等前期准备工作，一直到1940年9月10日，南岳忠烈祠第一期工程正式破土动工。第二期于次年11月5日兴工，至1943年6月全部竣工。7月7日，南岳忠烈祠举行了隆重的落成大典，主持者薜岳在忠烈神位前恭读祭文，郑重宣布“抗战以来，各忠烈将士，即日入祠，岁时奉祀”，第一批入祠的将领有张自忠、郝梦麟、佟麟阁、赵登禹等三十八名。
忠烈祠建成后，1944年，南岳沦陷，遭日军破坏，后又在文革中被红卫兵毁坏得厉害。 1984年，胡耀邦到此瞻仰，87年全国政协提出修复意见。直到1992年，由当地政府全面修复。96年被中央政府评为全国重点文物保护单位。