《左传·宣公十二年》中论述道：“见可而进，知难而退，军之善政也。”大意是说行军打仗，宜进则进，遇难而退，惟此方能立于不败之地。“知难而退”这个成语就源于此。
春秋时，晋国和楚国为争夺霸权，经常借机攻击对方。一次，晋国派元帅荀林父、先穀（gǔ）、士会等人带领兵士，以救援郑国为名去和楚国作战。在行军路上，有消息传来说楚郑两国已经言和。这时候，荀林父和士会认为：用兵打仗要有机可乘才能取胜，现在郑楚已经讲和，楚国内外团结，又很强盛，势不可敌，我们现在没有理由出兵攻打楚国，应该“知难而退”。但先穀不肯，一定要带兵去进攻，结果晋军被击败。
“知难而退”指做任何事情都要见机行事，不能不顾困难，冒险蛮干。根据这个成语，又演变出一个成语“知难而进”，形容不畏艰难。