崇祯朝进士，官至刑部主事。后因父疾而乞告归乡，适逢清兵入关，他从此避迹乡里，杜门不出，著书为乐。受其父教诲，归允肃自幼形成处事稳重，为人谨厚的性格。经多年苦读，归允肃于康熙十八年（1679）参加己未科殿试，榜发，状元归允肃，榜眼江南宣城人孙卓，探花浙江长兴人茆存馨。朝廷授官归允肃修撰，留京为官。 　　两年后，归允肃被委任为康熙二十年（1681）辛酉科顺天乡试主考官。自康熙初年以来，状元及第后，就被任命为下一科乡试主考官，几乎已成为定制。所以，归允肃未出任主考前，欲参加顺天乡试者即纷纷拜谒他，投上行卷，希冀归允肃为考官后，能与之通关节，得到关照。但是，清代科场条例细密严厉，主考通关节舞弊，一朝揭露，必遭酷刑杀戮。顺治时期严厉处治的数次科场案，已是前车之鉴。所以考官多有洁身自好者。归允肃接受君命后，纠集众同考官撰文向神立誓："允肃等素著清贫，谬叨荣遇，期为朝廷遴选真材，不为身家营谋私窟，期诸同事各矢此心，倘或为己营私，徇情欺主，明正国法，幽伏冥诛，甘受妻孥戮辱之惨，必膺子孙灭绝之报。"又言："毋夺子威，毋诱于利，毋牵前恩，毋邀后报。"对神起誓，意在昭明清白纯正之心。主考期间，归允肃言必信，行必果，未与考生通关节，表现公正无私。但榜发后，落第者误以为中试者与主考有关节，非议鹊噪，欲朝廷兴狱惩治。经当时著名的直巨大司寇魏象枢严查，证明归允肃无贪赃受贿之事。为了平息谣议，享有品学硕望的魏象枢带一仆人，携红褐垫，步行到允肃居宅门外，行四拜礼，颂扬允肃说："我为国家得人而庆贺！"事后又为此赋诗纪事，遍示朝廷内外，归允肃持正不阿的本色方显扬朝野。故后人评价他"辛酉主顺天乡试，所拔皆真才，一革从前诸弊。"鉴于以前一甲一名充任顺天主考而生出的科场是非，自归允肃后，清代科举考试中基本上废除了新科状元任顺天主考的惯例。

　　归允肃为人凝重谨厚，为官秉公办事，朝野延誉，也受到了康熙皇帝的注意。康熙皇帝重视学习汉民族传统文化，其时设有经筵讲官和日讲官，为皇帝讲解汉文经典，回答圣上治询。据载，康熙时曾有一段时间日讲官缺，翰林院掌院学士多次列名举荐日讲官，皇帝均未批允。一日，康熙帝突然从袖中抽出片纸，上书写归允肃名。由此归允肃以修撰兼日讲官。日讲官一般是翰林院举荐，经皇帝慎重选择，皆是德才兼备、学识超群之士。归允肃胜任其职，进讲《周易》、《毛诗》，举止端详，敷奏明畅。时人赞曰："讲筵得正人，天下有赖矣。"讲解汉文典籍，向皇帝传播汉民族文化颇有功效，官迁少詹事，参与商议朝政。