这个成语出自《汉书·霍光传》。
霍光，字子孟，河东平阳（今山西省临汾）人，是西汉中期有名的重臣。汉武帝临终，令他辅佐幼主昭帝刘弗陵。霍光任大司马大将军，掌握着西汉的军政大权。
霍光虽然对皇室忠心耿耿，但是他对反对自己的人不能相容。他利用手中权力，将左将军上官桀、御史大夫桑弘羊以造反罪名杀掉，迫使反对自己的燕王、盖王等皇亲国戚自杀，从而使自己威名大震。
昭帝死后，霍光迎立昌邑王刘贺为帝，不久又将刘贺废弃，迎立刘询为汉宣帝。
宣帝深知霍氏势大，自己的生死存废都取决于霍光，因此对霍光非常害怕，举行登位大典那天，在宣帝乘车往高庙向祖宗牌位朝拜的路上，霍光牵着马，相随而行，宣帝惶恐不安，不能自持，背上好像有小刺在扎，难以忍受。后由车骑将军张安世代替霍光，他才行完大礼。
不久霍光病死，但霍氏家族的人仍肆无忌惮，目中无人，企图废宣帝，立霍光的儿子霍禹为帝，结果阴谋败露，满门抄折。
“芒刺在背”形容某人心中极度惶恐与不安。