师入浙，彪佳殉节，理孙遂绝意仕进，以读书养母为事。理孙醇谨长厚，班孙慷慨豪迈，兄弟两人友爱甚笃。有张煌言友魏耕，奔走四方，谋复明室，与理孙兄弟称莫逆。耕遭怨家密告谋反，并谓与祁氏兄弟有连，清吏遂围其家，索耕不得，逮理孙、班孙而去。兄弟争承其狱，卒以班孙遣戍辽左。理孙鬻产赴京师，谋为弟脱罪，金尽而狱不解。后班孙遁归，落发为僧，主持毗陵马鞍寺，号咒明林大师。好议论古今，不谈佛法，每语及先朝，则掩面而哭。清康熙十二年（1673）卒。后两年，母卒。理孙痛母哭弟，痈发于喉，亦卒。

　　理孙好读书，手不释卷，或遇善本，尤加意校雠。初究心经史之学，旁及诸子百家，后肆力于诗古文辞。为文醇正，诗则闳肆卓劲，而成稿往往毁弃之，不轻示人。后人检集其所著，有《诗学内传》6卷，《寓山诗稿》1卷，《藏书楼计稿》1卷。

　　家世富藏书，有“奕庆楼”藏书四万余卷，藏书印有：“理孙”、“理孙之印”、“奕庆”、“智昙”、“法名智昙”、“奕庆藏书”、“藏书楼经籍记子孙世守”等。编撰有《奕庆藏书楼书目》（一作《祁氏读书楼书目》）6册，共4卷，著录图书1598种，42636卷，分经、史、子、集而汇成5大部38类。四部汇实为丛书部，首创丛书与四部并目体例。他把综合性丛书分入丛书部，专门丛书分入各类，取消总集类目。著录详细，除录书名、卷数、著者、版本外，加著者姓名籍贯。该目以收集诗文集、元明传奇、戏曲、杂剧为其特色，计有“名剧汇”72本，收杂剧270种。谢灼华著《中国文学目录学》对其评价较高。

　祁理孙晚年佞佛，不大爱惜祖传藏书，“视同土苴”。二孙去世后，其数代藏书，渐渐散佚，史家称为江东文献一大厄。