吕家世居崇德，族人众多，吕留良的高祖吕淇，因为儿子为朝廷捕盗有功，被封为锦衣卫副干户、武略将军。吕淇有两个儿子，长子吕榶，字廷懋，号闲云，任锦衣卫校尉，后因捕盗功，历升锦衣卫副干户；次子吕相，字廷贤，号种云，历任鄱阳县主簿、瓯宁县主簿，后擢升为沔阳州通判。吕相就是吕留良的曾祖父。到吕相这一支，吕家靠家族世代经商以及后来投资到土地上，累积财富，已经成为乡里豪富之家，据说财富达到“盛至倾邑”的规模。明嘉靖十八年(1539)，嘉靖皇帝到湖北拜谒生父的陵墓，谣传要巡幸浙江。为了迎接圣驾，要整治开辟官道、疏通河道、募集车船、准备粮草等。这需要很大的一笔开销。浙江地方官员下令各地富有的人家拿钱财捐助以补地方财政之不足，胆敢隐匿财产的治死罪。一时浙中人心惶惧，作为崇德富户的吕相尤为不安。幸亏当时贤明的岽德知县喻冲把这事给顶了回去，才使得吕家免遭一场破财败家的大灾殃。嘉靖三十四年，倭寇进逼崇德县，吕相拿出自家的粮食三巨艘来犒赏抗倭的军队。第二年，崇德县在遭受倭寇洗劫后商议加筑城池，吕相又被摊派捐出修缮费的半数多。还好吕相的次子吕炯中了举人，吕相的困境才稍稍得到缓和。因为在封建时代，只有家族中有人考上功名，或者有人有官职才能在徭役摊派上享受到减轻或免除的特权。
吕相有三个儿子：长子吕焕，字尧文，号养心；次子吕炯，字心文，号雅山；三子吕熯，字南文，号心源。吕焕曾做过保定县知县、湖广辰州府通判，后升任山西行太仆寺寺丞。吕炯中举后，曾任泰兴县知县。吕熯即是吕留良的祖父。当年吕熯跟随父亲吕相在鄱阳主簿任上。十二岁那年春，有一天傍晚吕熯放风筝玩，不小心弄断了风筝线，风筝便随风飘落到淮庄王府院里去了。正好那天淮庄王在后花园举行宴会，见有风筝落入园中，搅了雅兴，很恼火，命人马上缉拿放风筝的人。吕相不敢包庇藏匿自己的儿子，只好将吕熯送到王府。恰好那段时间淮庄王正在为长女选女婿，总没有上好的人选。他见吕熯一表人才，而且应对从容凝重，便很是喜欢。于是，不再问罪，立马释放，且将女儿许配给了吕熯。过了几年，吕熯奉旨与淮庄王朱祐楑的长女南城郡主完婚，且受册封成了淮王府的仪宾中奉大夫。这样，在崇德乡间都称吕家为“吕驸马家”。
到吕留良的祖父这一辈，吕家家势大为兴盛。吕焕、吕炯等的传记、行状、墓志铭，都出自万历间名家的手笔。比如当时的诗文名家冯梦桢就为吕焕作传，为吕炯作行状，为吕熯作墓志铭；王世贞为吕炯作墓志铭；黄洪宪为吕焕作墓表。吕焕兄弟虽然官做得不高，但都颇有政声。吕焕当保定知县时组织抵抗北虏抢掠，之后又拿出自己的俸禄，倡导官民一起修筑保定城池，当地百姓都很感念他的恩德，为他立祠纪念。吕炯在泰兴知县任上，尽力罢停漕运改道之议，泰兴百姓因此避免了很多徭役税赋。而且他们在致仕归家后，对乡里乡亲也是多慷慨帮衬。吕焕为同族兄弟出资干金来免除官府对族弟的处罚。另有一族弟在京城病故，因为贫困不能归葬家乡，吕炯就出钱帮助归葬，还抚恤他的遗孀和遗孤。还有一次，吕炯乘船渡湖时，突然风浪大作，同在湖中的很多船都翻转沉没了，吕炯所乘的船幸免。他当即把自己行囊中带的钱拿出来，买小船去救那些落水者，救了很多人，他也不留姓名就离开了。又有一年发大水，冲毁了南门外的堤堰，为修筑堤堰，吕炯带头捐出百金。另外吕焕兄弟还出资修缮祖墓、兴建宗祠，捐田若干亩作为祭祀用费的来源，每年让一个吕氏子孙来轮流管理。又考虑到乡里徭役繁重，吕焕兄弟带头捐出良田，倡导设置役田，每年收获数百石粮食，可以根据各家徭役轻重给予帮助，为乡亲减轻负担。而且吕氏兄弟间扶持照应，孝悌有加。吕焕致仕归家后，筑“寿山堂”颐养父母。因为父亲吕相喜欢结交朋友，经常在家中饮宴，吕焕就率领弟弟们承办酒鲜，伺候父亲，招待宾客。吕炯对待大哥吕焕也如同对父亲一样恭敬，家政事务都听从大哥的意见，而有麻烦事情却都独自担当。因此吕家得到各方尊崇，浙江地方官还曾表彰吕家是“孝友敦义”之家，表彰吕家世居地方是“善人里”。
P2-4