整个结构为南北向三进院落，属典型的清代建筑风格。前院是首进院落，院内松柏苍翠，丹墙回绕。中院是文庙的主体，正殿大成殿，超过了曲阜孔庙大成殿横阔9间的规格，为横阔11间（9堂2夹室）的重檐庞殿顶大殿。殿内供孔子及四配神，十二先贤牌位。大殿两边是两座配殿，内供孔子的弟子牌位。
前院是首进院落，院内松柏苍翠，丹墙回绕。池南有“万侧宫墙”（俗称影壁墙），上镶有琉璃雕花砖，长44.80米，高5.9米。池北有棂星门，是三间四柱的木牌坊，采用了只有皇家建筑才能使用的和釜彩绘，虎殿顶上覆黄色琉璃瓦。院落东、西两侧各有一座牌楼，与棂星门合称“三楼”。殿内供孔子及四配神，十二先贤牌位。大殿两边是两座配殿，内供孔子的弟子牌位。
院落东南角有驮碑一座，碑文为著名的爱国将领张学良撰写的《哈尔滨文庙碑记》。后院为面阔7间、单檐歇山顶的崇圣祠，原供孔子前五代祖先，后改为书厅，东西有侧殿。1985年，在此成立黑龙江省民族博物馆。现主要建筑已进行修复，并对外开放。
哈尔滨文庙始建于民国十五年（1926年），建成于民国十八年（1929年），是一座清式仿古建筑群，三进院落，从南向北的中轴线上依次为影壁、泮池泮桥、棂星门、孔子行教铜像、大成门、大成殿、崇圣祠、东西两侧对称分布着牌楼、两庑、掖门、石碑等，层层递进，起伏有致，一气贯通，充分展现了建筑物的空间之美。
光绪三十二年，孔子的祭祀规格由中祀升为大祀，因此建于民国年间的哈尔滨文庙就采用了封建等级最高的规格来修建，其主体建筑大成殿采用双重庑殿顶，九堂二夹室共十一开间，屋顶彩绘采用清代的构图繁密，大面积沥粉贴金的“金龙和玺”彩绘，雄伟、高大、金碧辉煌，堪与故宫太和殿的规制相媲美。
文庙内十余种珍稀树木吸引了多种珍奇鸟类在此落户，春季百花争艳、花香蝶舞；夏季清凉幽静、鸟语莺啼；秋季果实累累、红叶满枝；冬季白雪压松、银妆素裹，令游客流连忘返，成为哈尔滨市重要的旅游景点，这座沧桑七十载的古建筑终于得到妥善保护和有效利用。