这个成语出自司马迁的《报任少卿书》。
司马迁是汉朝著名的史学家、文学家，他的《史记》是我国古代伟大的历史散文著作。司马迁是在遭到“李陵之祸”、身受“腐刑”的情况下，忍辱负重、艰苦顽强地完成这部伟大著作的。事情的经过是这样的：
司马迁任太史令时，汉武帝有一年派李陵率兵进攻匈奴。开始，李陵的部队连打几个胜仗，深入到了匈奴的国境，士气很旺。皇帝得知后心里很高兴，许多大臣奉承皇帝，说皇帝英明，善于识人、用人。后来，李陵的部队失利，最后李陵竟战败投降。汉武帝很生气，原来称赞李陵的大臣们又赶忙顺着皇帝的意思大骂李陵无能、不忠。
司马迁与李陵虽曾同朝任职，平时并没有很深的交往和情谊，但他觉得李陵是有气节的人，在国家危难之际深入险地，已经是难能可贵的了。于是，司马迁爽直地对汉武帝说道：
“陛下，李陵所率领的步兵不满五千人，深入匈奴腹地，而匈奴有八万骑兵。他们连战十余日，杀伤了敌兵一万多，连打几个胜仗。后来匈奴单于征集所有能打仗、射箭的人围攻李陵，李陵是在拼尽全力的情况下才无奈投降的。而且我估计，李陵也不是真投降，而是等待有利的时机报效国家。陛下，请您多想一想李陵的功劳，不要杀他的家人吧！”
汉武帝一听，气得火冒三丈，司马迁竟敢指责皇帝，为叛将李陵辩护。他立即下令将司马迁关进监狱，以诬蔑圣上的罪名，对司马迁施行了当时最残酷、最耻辱的“腐刑”。
司马迁受刑出狱后，担任了中书令，他因身体和精神遭受严重的摧残，内心极度苦闷，感到耻辱，曾经痛不欲生。他向好朋友任安剖白了自己的苦闷心情，讲述了自己为何能坚持活下去的精神支柱。他在信中写道：
“我的祖先未曾立下封侯拜相的大功，没有免罪的剖符和丹书（皇帝赐给有功之臣的文券，凭此可减免罪行），太史令这一官职，只不过是掌管文史星历，为世人所鄙视的职务罢了……现在，即使我伏法受诛，也只是像九头牛身上失去一根毛，和蝼蚁（lóu yǐ）的死亡又有什么不同呢？在别人看来，我是愚蠢，犯了罪才死的。我之所以忍辱偷生，是因为我志愿没有实现！……”
司马迁没有凭一时悲愤而轻生，他发奋自励，以顽强的毅力和克制精神，完成了《史记》，为后人留下了一笔丰厚的精神遗产。
人们将司马迁《报任少卿书》中所说的“九牛亡一毛”这句话概括成“九牛一毛”这个成语，比喻人或事物极其渺小、轻微，不关紧要。