这个成语出自《左传·隐公三年》。
春秋初期，郑国的国君郑庄公担任周朝的卿士，在朝廷掌握大权。那时，周朝已十分衰败，郑庄公凭着自己的实力，根本不把周平王放在眼里。
周平王是个软弱无能的人，他依靠着郑庄公来处理朝政，但是内心对郑庄公的傲慢无礼却又十分不满，于是就想让虢公忌父代郑庄公担任卿士。郑庄公知道了，非常恼怒，埋怨周平王。周平王向郑庄公解释说：“我并没有让别人取代你的意思，如果这么讲你还是信不过我，那就让我们交换人质吧！”于是，周太子狐就住在郑国做人质，郑公子忽住到周来做人质。
公元前720年，周平王去世了，他的孙子周桓王即位。周桓王对郑庄公很不放心，也考虑着想让虢公代替郑庄公做卿士。不料，这事又让郑庄公知道了。郑庄公派郑国大夫祭（zhài）足带领兵马将周朝温邑地方的麦子全部割了运到郑国。秋天，祭足又率领兵马将周朝成周的谷子全部割走。从此，周朝和郑国之间的关系更加恶化了。
当时的史官评论这件事时说：“人与人、国与国之间的信任如果不出自内心，交换人质也是没有用的（原文为：‘信不由中，质无益也’）。倘若他们都能坦诚相待，为对方着想，都能用礼仪要求自己，又有谁能离间他们呢！”
“中”与“衷”同义，都是指内心。后来人们把“信不由中”改为“言不由衷”，形容虚伪敷衍，讲的不是真心话。