靠近湘江之滨，在衡阳湘江上的公路、铁路两用桥附近。立在回雁峰，不仅可俯瞰大桥，还可纵观衡阳城全貌。回雁峰为南岳七十二峰之首。古人一直认为，北来的大雁南飞至此处便不再南飞了，只等来年春天再飞回北方，故名。杜甫就写过“万里衡阳雁，今年又北归”。
回雁峰的山门是一座石砌牌坊，过山门不远后有半山亭，再往上走，越过“百步云梯”后就可到达顶峰，峰顶有雁峰寺。据史籍记载，这座寺庙建于南北朝时期，梁武帝时称乘云寺，唐以后改称雁峰寺，它与花药寺、西禅寺、罗汉寺并称为衡阳佛教禅宗四大寺院，历代有不少高僧都曾来此参禅。在回雁峰还流传着一位古代歌妓的故事。唐德宗光启年间，一个叫王幼玉的歌妓住在回雁峰下，她有着艳丽的容貌和高雅的气韵，她唱的《雁归来》被人赞为“秋满潇湘浦，歌徹回雁峰。”后来她与一位叫姓柳的青年富商相爱，其间经历了很多波折，两人虽然矢志不渝却仍天各一方。一天又一天，王幼玉登上回雁峰，一边唱着柳郎写给她的诗一边等待她的心上人回来，大雁听到她的歌声徘徊不肯离去。她就这样唱呵唱，直到力尽坠下山崖。 这个凄婉的故事为回雁峰更增添了几分伤感的美丽。