刘怀肃最初任刘敬宣宁朔府 司马，在东征 孙恩时立下战功，又任龙骧司马、费县 县令。他得到刘裕起兵的消息，就弃去县令之职投奔刘裕。

京都平定后，振武将军 刘道规追讨 桓玄，以刘怀肃为司马。桓玄留下何澹之、郭铨等人守桑落洲，刘怀肃率军进击，打败桓军。平定颍川太守刘统后，刘怀肃被任为高平太守。

桓玄死后，桓玄的侄子桓振在杨林大败官军，官军退守寻阳。刘怀肃与江夏相张畅之在西塞进攻何澹之，打败了他。桓军镇东将军冯该守夏口东岸，孟山图据鲁山城，桓仙客守偃月垒，三处壁垒相望，彼此策应。刘怀肃与刘道规发动进攻，他们都亲自作战，攻陷二城，冯该败逃石城，桓仙客被活捉。义熙元年正月，桓振败逃，刘道规派刘怀肃平定石城，杀死冯该和他的儿子冯山靖。

三月，桓振又袭击江陵，荆州刺史 司马休之出逃，刘怀肃从云杜驰往救援，日夜兼程，七天时间就赶到了。桓振统率三万人马，军旗遍布田野，刘怀肃策马驰骋，手横长矛，亲自带头冲锋。当时流箭射伤了刘怀肃的额头，军士害怕，想要逃跑，但刘怀肃怒目圆睁奋力作战，士兵的斗志更加旺盛，于是人人争先恐后，将桓振斩首。

江陵平定后，司马休之回到荆州，他握着刘怀肃的手说：“如果没有你，我就没有地方可去了。”桓楚辅国将军符嗣、马孙和龙骧将军金符青、乐志等人聚集江夏，刘怀肃又率兵进讨，将乐志等人斩首示众。.刘道规加刘怀肃督江夏九郡，暂且镇守夏口。

刘怀肃被除授通直郎，并任辅国将军、淮南历阳二郡太守。义熙二年，又领刘毅抚军司马，辅国将军、进直历历二郡太守如故。因起义有功，封为东兴县侯，食邑千户。这年冬天，桓石馁、司马国瑶、陈袭在胡桃山聚众为寇，刘怀肃率领步兵骑兵讨伐，打败了他们。江淮地区的各蛮族部落以及桓氏余党作乱，刘怀肃请求出兵讨伐。出兵后与刘裕意见不和， 刘毅上表弹劾，罢免了刘怀肃的官职。

义熙三年，刘怀肃死去，死时四十一岁，朝廷追赠为左将军。他没有儿子，以其弟刘怀慎之子刘蔚祖为嗣袭爵。刘蔚袓官至江夏内史。

伪镇东将军冯该戍夏口东岸，孟山图据鲁山城，桓仙客守偃月垒，皆连壁相望。怀肃与道规攻之，躬擐甲胄，陷二城，冯该走石城，生擒仙客。义熙元年正月，振败走，道规遣怀肃平石城，斩冯该及其子山靖。三月，桓振复袭江陵，荆州刺史司马休之出奔，怀肃自云杜驰赴，日夜兼行，七日而至。振勒兵三万，旗帜蔽野，跃马横矛，躬自突陈。流矢伤怀肃额，众惧欲奔，怀肃瞋目奋战，士气益壮。于是士卒争先，临阵斩振首。江陵既平，休之反镇，执怀肃手曰：“微子之力，吾无所归矣。”伪辅国将军符嗣、马孙、伪龙骧将军金符青、乐志等屯结江夏，怀肃又讨之，枭乐志等。道规加怀肃督江夏九郡，权镇夏口。

宋书除通直郎。仍为辅国将军、淮南历阳二郡太守。二年，又领 刘毅抚军司马，军、郡如故。以义功封东兴县侯，食邑千户。其冬，桓石绥、司马国璠、陈袭于胡桃山聚众为寇，怀肃率步骑讨破之。江淮间群蛮及桓氏余党为乱，自请出讨，既行失旨，毅上表免怀肃官。三年，卒，时年四十一。追赠左将军。无子，弟怀慎以子蔚祖嗣封，官至江夏内史。

宋书蔚祖卒，子道存嗣。太祖元嘉末，为太尉江夏王义恭咨议参军。世祖伐元凶，义军至新亭，道存出奔，元凶杀其母以徇。前废帝景和中，为义恭太宰从事中郎。义恭败，以党与下狱死。

宋书怀肃次弟怀敬，涩讷无才能。初，高祖产而皇妣殂，孝皇帝贫薄，无由得乳人，议欲不举高祖。高祖从母生怀敬，未期，乃断怀敬乳，而自养高祖。高祖以旧恩，怀敬累见宠授，至会稽太守，尚书，金紫光禄大夫。

十四年，出为梁、南秦二州刺史。十八年，氐帅杨难当侵寇汉中，真道讨破之，而难当寇盗犹不已，文帝遣龙骧将军裴方明率禁兵五千，受真道节度。十九年，方明至武兴，率太子积弩将军刘康祖等进军，大致克捷，以真道为建威将军、雍州刺史，方明辅国将军、梁南秦二州刺史。又诏故晋寿太守姜道盛殒身锋镝，可赠给事中，赐钱十万。道盛注古文尚书行于世。真道、方明并坐破仇池断割金银诸杂宝货，又藏难当善马，下狱死。怀敬弟怀慎，少谨慎质直。从宋武帝征讨，位徐州刺史。为政严猛，境内震肃。以平广固、卢循功，封南城县男。十二年，武帝北伐，以为中领军、征虏将军，宿卫辇毂。坐府内相杀免官。虽名位转优，而恭恪愈至。每所之造，位任不逾己者，皆束带门外下车，其谨退类如此。

永初元年，以佐命功，进爵为侯，位五兵尚书，加散骑常侍、光禄大夫。景平元年，迁护军将军。禄赐班于宗族，家无余财，卒諡肃侯。

子德愿嗣。大明初，为游击将军，领石头戍事。坐受贾客韩佛智货，下狱夺爵。后为秦郡太守。德愿性粗率，为孝武狎侮。上宠姬殷贵妃薨，葬毕，数与群臣至殷墓。谓德愿曰：「卿哭贵妃若悲，当加厚赏。」德愿应声便号恸，抚膺擗踊，涕泗交流。上甚悦，以为豫州刺史。又令医术人羊志哭殷氏，志亦呜咽。他日有问志：「卿那得此副急泪？」志时新丧爱姬，答曰：「我尔日自哭亡妾耳。」志滑稽，善为谐谑，上亦爱狎之。

德愿善御车，尝立两柱，使其中劣通车轴，乃于百余步上振辔长驱，未至数尺，打牛奔从柱间直过，其精如此。孝武闻其能，为之乘画轮车，幸太宰江夏王义恭第。德愿岸着笼冠，短朱衣，执辔进止，甚有容状。永光中，为廷尉，与柳元景厚善。元景败，下狱诛。

怀慎庶长子荣祖，少好骑射，为武帝所知。及卢循攻逼，时贼乘小舰入淮拔栅，武帝宣令三军不得辄射贼。荣祖不胜愤怒，冒禁射之，所中应弦而倒，帝益奇焉。以战功，参太尉军事，从讨司马休之。彭城内史徐逵之败没，诸将意沮，荣祖请战愈厉，上乃解所着铠授之。荣祖陷阵，身被数创。及帝北伐，转镇西中兵参军。水军入河，与朱超石大破魏军于半城。帝大飨战士，谓荣祖曰：「卿以寡克众，攻无坚城，虽古名将何以过此。」永初中，为辅国将军。追论半城功，赐爵都乡侯。荣祖为人轻财贵义，善抚将士；然性褊，颇失士君子心。卒于官。