元丰八年（公元1085年），宋哲宗即位，召司马光进京为相，主持朝政。此时已晚年的司马光，虽疾病缠身，但还是不分昼夜地辛勤操劳。家人朋友劝他以诸葛亮为戒，爱惜身体。他却道“死生由命”，操劳如故，一年之后溘然长逝！去世时，他的子孙按其生前嘱托，殓入早备好的薄棺，遗体以一块旧布覆盖，随葬的只有一篇专门颂扬节俭的文章《布衾铭》。前来吊唁的太皇太后、皇帝和大臣看到司马光家中除了满屋书籍外，家徒四壁，床上铺的只有一张旧竹席，慨叹不已。朝廷给予了司马光最高规格的评价，赠太师温国公，赐碑额“忠清粹德”，谥“文正”之号。司马光生前论谥号时说：“谥之美者，极于‘文正’。”他自己恰恰获得了这一最美的谥号，也无愧于这一最美的谥号。
司马光去世后，京城的百姓络绎不绝地前往吊唁。画工们也纷纷画其遗像面市，京师居民争相购买，将其遗像悬挂堂中，摆食祭献。送葬那天，四方来京者多达数万人，“哭公甚哀”，如送亲人。
君子泰而不骄，欲而不贪。司马光一生崇俭，清廉自守。史书记载，司马光的父亲司马池就是一个清正爱民的好官，生活俭朴，一贯粗茶淡饭，不取奢华。在父亲的影响之下，司马光从小就不喜奢靡，无论玉食或锦衣，总不愿接受，以至考中进士去参加宴会时，别人都戴了花，他却推辞不戴。别人告诉他，这花是皇帝所赐，不可不戴，他这才勉强戴上。即便后来做了大官，司马光在生活上依然保持着俭朴作风，“食不敢常有肉，衣不敢纯有帛”。司马光在洛阳有薄田三顷，夫人张氏病故，他卖田以葬，流下“典地葬妻”的故事。
司马光个人生活十分俭朴。年老体弱时，他的朋友刘贤良打算用五十万钱买一婢女供其使唤，司马光当即写信谢绝，说：“吾几十年来，食不敢常有肉，衣不敢有纯帛，多穿麻葛粗布，何敢以五十万市一婢乎？”司马光在洛阳写《资治通鉴》时，身居陋巷一处仅能避风雨的茅檐草舍。一个大雪纷飞、北风呼啸的三九寒天，一位东京来客慕名前来拜见司马光，因室内没有炭火，客人冻得瑟瑟发抖，司马光感到很抱歉，只好熬碗姜汤给客人驱寒。
司马光正直无私，两袖清风，除俸禄外，不谋取外财。还经常用俸禄周济他人。亦师亦友的庞籍死后，留下孤儿寡母，司马光将他们接到家中，像对待自己的母亲和兄弟一样奉养。
司马光于物无所求，平生衣取蔽寒，食取充腹，但却是一个少有的爱书惜书之人。他曾训告儿子说：“商贾收藏的是金银货币，儒生只不过有些书籍而已。”不贪钱，不聚财，珍爱者，唯几篓古书而已。由是，南宋大儒朱熹对司马光极尽褒扬：“忠信孝友恭俭正直是司马光的天性，他的好学就像饥渴的人贪恋饮食，而他对钱财私利的厌恶却像对待恶臭一样。”
司马光一生克勤于邦，克俭于家。为使勤俭家风世代相传，晚年他还给儿子司马康写下《训俭示康》一文，告诫儿孙力戒奢侈，谨身节用。《训俭示康》中“俭，德之共也；侈，恶之大也（有德之人皆由俭来，而奢侈乃邪恶中的大恶）”、“由俭入奢易，由奢入俭难（从节俭变得奢侈容易，从奢侈转到节俭就很困难了）”、“以俭立名，以侈自败（节俭可以成就美名，奢侈却能使名声败坏）”等很多治国持家之道，成为后世的名言警句。司马康果真得其父风范，终生清廉，《宋史》称他“为人廉洁，口不言财”。
逝者不可追，来者尤可教。司马光一生孝友忠信、恭俭正直，居处有法、动作有礼，在德行、政事、文史等方面都留下了宝贵的财富，而其为官以清、勤政尚俭的作风，更是如今为人为政者所要认真学习的。