这个成语出自明朝刘基所著《诚意伯集·卖柑者言》。
刘基在他的寓言式小品文《卖柑者言》中讲了这样一个故事：杭州有个卖柑子的人，善于保藏柑子，他的柑子经过严寒酷暑都不会烂掉。他卖的柑子外表的皮色非常鲜艳，即“玉质而金色”，但是剖开一看，里面的柑肉竟枯干得像烂棉絮一样，即“败絮其中”，哪里还能吃呢？刘基为此质问卖柑人。卖柑人却振振有词地说：“那些坐大堂、骑大马的当官者，哪个不是官样十足，令人望而生畏，实际上还不都和我这些柑子一样‘金玉其外，败絮其中’！”
“金玉其外，败絮其中”比喻虚有其表，外表好而实质坏的人或事。