岳麓书院祭祀孔子始于书院初建时期，北宋时曾建礼殿，内塑先师十哲像，画七十二贤。明弘治十八年（1505年），改成大成殿。明正德二年（1507年）守道吴世忠仿郡县学宫之制，在书院左边建立文庙。天启四年（1624年）重建，正式称为文庙。抗日战争时期，文庙被日机炸毁，只有石狮、石雕、石坊、照壁。
书院文庙，是历代山长宣扬儒教的重要场所，起着崇尚圣人、推崇学统、劝诫规励、践履识礼的重要作用。现存文庙位于书院左侧，自称院落。由大成殿、崇圣祠、两庑、明伦堂、大成门、石牌楼、照壁等组成。
大成殿是文庙中的最主要的建筑。“大成”一词源于《孟子·万章下》：“孔子之谓集大成；集大成也，金声而玉振之也。”“大成”作为殿名，始于宋崇宁三年，徽宗皇帝“诏辟雍文宣王以大成以名”。自此，天下文庙不论大小都有大成殿。明代书院大成殿“承以崇台，盘以文石，”十分华丽隆重。20世纪40年代重修时，因为是民间组织，规制已经大不如从前。殿内现在已经恢复明代祭祀规制，绘有孔子像以及四配十二哲，设有祭台、供案、供桌、笾、豆等礼器，每年秋天都举行大祭。
崇圣祠，明嘉靖年间称启圣祠，祭祀孔子五代先祖。岳麓书院崇圣祠建于清嘉庆二十三年，先是明正德年间守道吴世忠建明伦堂于大成殿后，嘉靖九年在旧址上建敬一亭，后因风雨剥蚀，大多毁坏，清院长欧阳厚均有在旧址上重建崇圣祠。书院文庙建崇圣祠的很少，唯有岳麓书院。崇圣祠初建成时，是乡绅、官员捐助所成，现在存有《重修岳麓书院碑记》。
明伦堂为儒者讲学、倡明人伦道德的地方。古代官学学宫，依循左庙右学之制，左边为文庙，右边即为明伦堂。书院明伦堂始建于明正德二年，守道吴世忠于大成殿后建明伦堂，之后被毁。明嘉靖年间重建，十八年知府聘熊宇为山长，讲学与明伦堂，第二年庚子科考，中式者十人，一时科甲大盛，后又被毁。清代重建，顺治九年立“卧碑”，置于明伦堂左边，作为书院条规，后被废除。今复原明伦堂于文庙大成殿后，现在是书院研究生、博士生上课之所。
两庑，即大成殿两侧的屋廊。始建于明代，清同治七年大修，抗战时期被毁，1944年进行了修复，里面祭祀唐开元至明嘉靖间祀典所定先儒。
大成门，现存建筑为清同治七年建造。门的正上方悬挂“大成门”匾，两旁悬挂对联：
道若江河，随地可成洙泗；圣如日月，普天皆有春秋。
大成门的石阶前，有一对明代石狮，一公一母，刻工十分传神。
文庙牌楼为明代建筑。左右各一个，南北相望，上面有龙雕、麒麟吐玉书等雕饰。内侧题额分别为“贤关”、“圣域”。外侧题额分别为“德配天地”、“道冠古今”，都是对孔子的赞誉。