文庙位于县城南街，始建于元世祖至元二十四年(1287年)，西域人鲁克得礼任县令时倡议修建。明弘治年间(1488年—l505年)，知县周书迁到城北；嘉靖末年(1565年)，县令王调元又迁到东街，万历十九年(1591年)，县令封嘉诰又迁到渭北山麓；天启七年（1627年)县令赵守成又迁到城外西关；祟祯十三年(1640年)，县令曹大行迁回鲁克得礼初建原址。以后再无更动。文庙原建筑有崇圣祠、大成殿、东西两庑，在文庙外还建有名宦祠、乡贤祠、忠孝祠。此外还有戟门、泮池、棂星门、义路、礼门等附属建筑。

文庙祭孔子为县内祭祀场面隆重之最。巩建丰《伏羌县志》载：“至圣先师孔子以二、八月上丁日祭。先期省牲，至日知县行正献礼，教官分献东西，哲典史分献东庭、西庭，以首贡代之，惟崇圣祠是日子夜学官司行先祀之，礼成，然后同祭。”1925年乡贤宋子材先生以文庙为址，创办伏羌县立初级中学，1944年改为省立甘谷中学。部分建筑后来相继改建，20世纪末旧城改造中两庭被拆，唯大成殿得以保留，在原址基础加高。

文庙所在建筑中，现仅存大成殿。大成殿在文庙中心位置，重檐歇山顶，长29米，阔18米，殿正面5间，进深4间，采用蜀柱前后廊式构架。檐柱与金柱间施挑尖梁，穿插枋，作为两排柱子的联系，并在金柱间按檐步举架施用承檐枋，将檐椽搭置在承椽坊上，构成第一层屋面，并在下层梢间金柱施挑尖顺梁，在挑尖顺梁上，由山面正主檩心内退一廊步架处载童柱支承上层屋檐，作为山面上层的檐柱。为增大承载力，在顺梁下设随梁。外观出檐较浅，斗拱比例较小，重檐采用假铆，但未刻华头子。假昂嘴、耍头、凤凰台完全沿袭了元代作法。

两层斗拱作法基本相同。大成殿屋面由绿黄两色琉璃瓦覆盖，兽吻散佚。山面陡峭，角角轻盈起翘，玲珑精巧，气度非凡，既有庑殿建筑雄浑的气势，又有攒尖顶建筑俏丽的风格。为庑殿或四角攒尖建筑与悬山建筑的有机结合。