司马光生性不喜华靡，素以俭朴自守。在洛阳编修《资治通鉴》时，住在城郊西北一个小巷中，居所极为简陋，仅能挡风遮雨。夏天为避暑热，他请工匠挖地丈余，用砖砌成地下室，读书写作其间。大臣王拱辰当时亦居洛阳，所建宅第凌天高耸，最上一层称朝天阁，洛阳人戏称：王家钻天，司马入地。邵康节则打趣说：一人巢居，一人穴处！
司马光不收任何人送给他的礼，就连皇上的赏赐也不受。仁宗皇帝临终前立下遗诏，赐予司马光等大臣一笔价值百余万的金珠。司马光考虑到国家财力不逮，便领衔上书请免。力辞再三未果，只好将自己那份珠宝交谏院充作公费，金钱接济了亲友，自家分文未留。司马光为官40年，仅有薄田三顷，所得薪俸大多周济了穷人。其妻去世时，竟拿不出钱来办丧事，只得典当薄田置棺埋葬。司马光临终床箦萧然，唯枕间有《役书》一卷，故吕公著为挽词云：漏残余一榻，曾不为黄金。
司马光府上有个仆人，30年来一直称呼他秀才。前来拜会的苏轼，听后觉得不恭，就教他以后改称大参相公。作为称呼，相公是指位居宰相之职并享有公爵爵位的人。司马光听仆人突然改口，吃惊地问他谁教的，仆人如实禀告。司马光说：好好一个仆人，被苏东坡教坏了。在司马光看来，贤者居世，会当履义蹈仁，以德自显，区区外名何足传邪！他不仅自己不吝身份，也不希望家人为世俗所染，变得势利起来。
俗话说，宰相家人七品官。在封建社会里，因势焰熏灼使然，官宦府邸中人，即便车夫、门子，身价也非同一般。如果家规不严、门风不正，他们就会倚权仗势，寻衅滋事，有恃无恐，横行不法，甚至贪污受贿，作奸犯科。据《清仁宗睿皇帝实录》记载，和珅的大管家刘全，查抄资产竟至20余万，并有大珠及珍珠手串。若非纵令需索，何得如此丰饶！即便在今天，领导身边人犯罪的案件也时有耳闻，这在司马光家人身上是不会发生的。
一天，司马光经过独乐园，见新盖了一间厕屋，就问守园者，建房的钱是从哪里得来的。守园者答，是我把游人给的赏钱积攒起来的。司马光说，为什么不留着自己用？守园者说，难道只有相公您不要钱？守园者的回答很有意思，一句反问，就把主仆双方的为人都说清楚了。赏钱属于个人正当得利，留为己用合情合理，守园者却用于公共设施，这显然超越了一般职业操守。也许是我们对那些假公济私、中饱私囊的行径看得太多了，愈发觉得这位守园者可敬。他能这样做，无疑是受到司马光的熏陶。人格的魅力有多大，影响力就有多大。
在司马光手下当差，无势可仗，无光可沾，也无油水可捞，显然要比其他公府豪门清苦。但因主人夫妇待之以诚，持之以礼，从不欺凌打骂，他们活得自在有尊严，心里感到踏实，这可不是金钱能够买得来的。他们不仅安贫若素，没有怨言，而且也像主人一样平和敦厚，不慕奢华，不图富贵，老老实实做人，勤勤恳恳做事。
行胜于言，温公家风的形成，很大程度源自身教。修齐治平四字，司马光践履得十分到位。他深知由俭入奢易，由奢入俭难，俭能立名成业，侈必堕落自败，并视为大贤之深谋远虑。因此在身教同时，非常重视言教。《训俭示康》一文，就是司马光专门教诲继子司马康的。
由于身教言教并重，其家族后人也都以贤德立身，绝无官二代之累。司马光一生著述颇丰，收入《四库全书》的就有16种457卷。影响力大的除《资治通鉴》外，就是《家范》了。《家范》广泛收集了治家有方的实例，系统阐述了家庭伦理关系、治家原则以及修身处世之道，为历代推崇的家教范本。司马光自己说，《家范》比《资治通鉴》更重要，因为家风是世风之基。