小松清廉的生父是萨摩鹿儿岛城下的下原良村喜入领主肝付兼善。肝付氏出自伴氏，在平安时代，伴兼行被派遣到萨摩国任追捕使，他的儿子兼贞来到大隅国肝属郡任弁济使。此后兼贞一支就借郡命改为肝付氏。

肝付氏在大隅国不断发展，到了室町时代中期的兼忠一代，与邻国的岛津氏关系曾相当融洽。弟弟兼政更曾过继给岛津家成为后来的萨摩颖娃氏鼻祖。此外兼忠的儿子中除了二子继承主家，三子兼光还移居至日向国的诸县郡大崎城出仕岛津家，这一支后面还会提到。到了战国时代肝付氏不但曾因领土政治与岛津氏对立，还联合日向国的伊东氏对抗岛津。但是自曾于竹原山合战大败岛津氏的肝付兼续于永禄8年（1566年）去世之后，肝付氏就一蹶不振，直到天正8年（1580年）臣属于岛津氏。此外，其嫡流20代当主兼幸在庆长15年（1611年）在随藩主岛津家久上洛后返国的途中溺水身亡，使得肝付氏主家断绝。所幸的是，刚才提到的兼光子孙早已深得岛津氏信任，在此后经过藩主准许继承了肝付主家，成为喜入领主。小松清廉的亲父肝付兼善正是来自此支。

小松带刀本名肝付尚五郎，他的哥哥兼两继承了肝付家主，他因为是三子，所以在安政3年（1856年）过继给了前一年刚刚去世的吉利领主小松清猷，成为其养子。这里还要提一句的是，无论是小松氏还是肝付氏，均为“一所持”家格，也即属于至少有五千石领地的名门，有此家格的家门在萨摩藩是会历代官居要职的。在文久元年（1861年）小松带刀因其才能被岛津久光提拔成为其侧近，和大久保利通一起进行藩政改革。更在文久2年（1862年），28岁的他成为萨摩藩家老。同年大久保33岁。

小松带刀不但自身家门显赫，个人能力上更以宽容、雄辩、爽朗著称。同时因为他出身于萨摩藩上层藩士，对来自下层乡士的大久保利通、西乡隆盛等人来说，在藩内，他的存在成为下层乡士重要的后援，在藩外，他更多代表萨摩藩，负责诸藩联络人、交涉役等任务，用现在的话来说就是外交官。除了与坂本龙马成为私人朋友外，他还在庆应3年（1867年，坂本被刺杀同年）与坂本龙马、中冈慎太郎、板垣退助、后藤象二郎等人一起促成萨土同盟（萨摩藩与土佐藩）。因为其卓越的外交能力，被明治维新政府任命为外交官副知事。不过他在明治3年（1870年）就因病去世，享年36岁。