丽谯楼是古代肇庆府衙的所在地，为古代肇庆的政治中心，建于宋重和元年（１１８年）是为供奉宋徽宗赵佶亲笔御书“肇庆府”而建，故称“卸书楼”，明代改为“丽谯楼”，明末，朱由榔在肇庆建都抗清，在此楼登基，改作“永明宫”。
丽谯楼原名御书楼，又称永明宫、红楼，座落在肇庆市城中路。宋徽宗赵佶曾为端王，端州是他的封地，继皇位后，升端州为府，御书“肇庆府”。府衙前曾筑高台建楼，名御书楼。明天顺六年（1462年），郡守黄瑜重建，改称为丽谯楼。明末（1646年），桂王朱由榔抗清时在此登基，改作永明宫。建国初，因该楼红色，俗称红楼。丽谯楼曾陈列铜壶滴漏、乾宁铜钟、大藤鼓等报时器，以报时刻。楼后的府衙是古端州治所，宋名臣包拯曾于此任职三年，政绩卓著，以不持一砚归的清廉之风闻名于世。现在丽谯楼的台基拱道门上还有匾额“古端名郡”和对联“星岩朗曜光山海，砚渚清风播古今”。石台基长34.5米，宽14.45米，高6.14米。台基开辟一券拱形门道，高4.9米。楼为重檐歇山顶，面宽18.8米，进深14.3米，高12.19米。
清顺治三年（1646年），明朝桂王朱由榔获南方抗清武装拥立为永历帝，他以肇庆为临时帝都，将府署作行宫，把丽谯楼作"永明宫"。丽谯楼屡经战乱，成为过境军旅的驻屯之所，受到人为的破坏。解放后，丽谯楼修复成一座古色古香的红彤彤的彩楼，故人们称之为"红楼"。