唐代名玄中观。公元８８０年黄巢起义军攻破长安，唐僖宗仓皇逃到成都，曾驻观内。后来即下诏改观名为青羊宫。相传唐时两位皇帝曾驾临此宫。
青羊宫地处原青羊肆，传说老子骑青牛过函谷关，为关今尹喜讲道德经，讲到一半，老子有事要走，对尹喜说：“子行道千日后于成都青羊肆寻吾”。1000天后，老子如约而来，在这里继续对尹喜讲经说法。
现存建筑是清代陆续修建的。重要的建筑有灵祖殿、乾坤殿、八卦亭、三清殿、斗姥殿、唐王殿，两边有老子降生台和说法台。
八卦亭是青羊宫的主体建筑之一，气势雄伟，镂刻精湛。亭基四方形，亭身呈圆形，象征天圆地方。亭为双亭重檐翘角，亭顶盖有黄色琉璃瓦，亭身由8根镌刻条龙的石柱支撑。其中一根柱上的条龙有拳印痕迹，传说这条龙乘某天晚上想逃离青羊宫，恰被巡逻的月亮真人发觉，一拳把它打在柱上，拳印由此留下。 宽敞雄伟的三清殿，供有三清塑像，左右各配6位真人。殿前有一对清代雍正年间从北京运来的铜羊，其中一只单角铜羊，将十二生肖的特征汇聚一身，造型奇特不凡，各部位为鼠耳、牛鼻、虎爪、兔嘴、龙角、蛇尾、马脸、羊须、猴颈、鸡眼、狗腹、猪臀。
每年的农历二月十五，这里都要举行花会，相传这天是老子的生日。与青羊宫一墙之隔的文化公园就成为一年一度的春节灯会和花会会址。