光绪二十二年得尚书怀塔的赏识，始任户部主事，翌 年荐升户 部郎中。寓京期间，他交游日广，结识了不少革命党人，其中有苏 曼殊、徐锡麟、吴禄贞、李煜瀛、 秋瑾等人，后来又结识了孙中山， 虽曾被指控为“附逆”而不顾。戊戌变法失败后，他认为欲发愤图 强，必须先开民智。因此资助杨模、 俞复、侯鸿鉴在无锡创办翊实 学堂、三等学堂和竞志女学，并将无锡私宅让给女学做校舍。

光绪三十年冬，因不满清廷统治，辞职南归，移居沪上。翌年， 在上海曹家渡购地筑园，营造别墅，题名小万柳堂。光绪三十二年， 在上海集股创办文明书局，聘请无锡俞复、 丁宝书、赵鸿雪等知名 人士任编辑，编印新式学堂教科书，出版文学艺术译著等。他还送 赵鸿雪去日本学习珂罗版、铜版等先进印刷技术，使文明书局成为 我国最早采用珂罗版、铜版、锌版印刷书籍的书局之一。至民国10 年(1921年)，因股东分歧、同业倾轧，文明书局合并给中华书局。 光绪三十三年，吴芝瑛好友秋瑾被害，他协助吴芝瑛将其遗骨 葬于杭州西泠桥畔，并请无锡著名画家 吴观岱描画了《西泠寒食图》， 并在秋瑾就义处轩亭口建立“风雨亭”，在杭州南湖小万柳堂别墅 内建立“悲秋阁”，以志哀悼。清廷为此欲加害于他们夫妇，后迫 于舆论的压力未敢下手。

宣统元年(1909年)，汪精卫等人谋炸摄政王载沣未成被捕，他曾以私交向载沣说情。宣统三年，安徽新军协统顾忠琛因受马炮营起义失败的牵连而逃到上海，廉泉将他隐藏在文明书局内。辛亥革 命后，廉泉隐居北平潭拓寺，目睹军阀混战，民不聊生，忧时愤世的诗文常见诸报端。民国3年(1914年)赴日本，在神户椰取山造住所，取名为三十六峰草堂，并在东京开设扇庄，介绍中国书画， 与日本文化界名流评读书画，推敲金石，切磋诗文，颇有影响。民 国6年从日本回国，曾任故宫保管委员等职。北伐胜利后，曾被任 命为江苏省屠宰税局局长，他坚决不就。民国18年蒋介石到北平， 吴稚挥按蒋介石意思，要为廉泉安排一个重要职务，亦遭其婉言拒绝。当时他虽三餐不继，但不肯受权贵之资助。他晚年生活十分窘困，因负累甚巨，不得不将杭州和上海的小万柳堂别墅先后易主。 廉泉性情豪侠，节操高尚，轻财重义，乐于助人。不少事迹， 传为美谈。 民国20年，他独赴北平潭柘寺养病，并因信佛而入寺为僧。同 年10月6日，病逝于北平协和医院，安葬于潭柘寺旁，终年63岁。 遗著有《南湖集》、《潭柘集》、《梦还集》、《梦还遗集》等。