这个成语见于《南史·陈后主纪》。
中国历史上曾经有过一段长达近三百年之久的南北分裂、社会动荡不安的时期，史称南北朝。南朝末年，隋文帝统一了中国的北方，于公元581年，建立了隋朝。国家日渐强盛，隋文帝又把眼光投向了南方。
那时，南朝的陈国是长江中下游的一个小国。陈国的皇帝即是历史上有名的亡国之君陈后主。陈后主沉湎于酒色享乐，不理政务。为了自己玩乐而大兴土木，搞得民不聊生、怨声载道；对于北方强大的隋朝的威胁，他更是充耳不闻，企图凭借长江天险，侥幸偏安一隅，继续过着醉生梦死的生活。
隋文帝杨坚面对滔滔的江水，遥望着长江以南的小小陈国，统一中国的豪气顿生。他对手下的文武大臣说：“我身为百姓父母，岂能因一条衣服带子般的江水阻隔，就看着天下的老百姓受难而不去解救他们？”于是，杨坚下令修造战船，厉兵秣马，经过几年的充分准备，于公元588年，率领五十万大军南下攻打陈国。次年一月，隋军渡过长江，占领了陈国国都建康（今江苏南京市），灭掉了陈国。杨坚终于统一了全国。
“一衣带水”原意是指一水之隔，水面狭窄，很容易渡过。后来也常指江河湖海等水域不足以限制人们的交往。现多用来比喻两国交往，双方虽有河海之隔，但不足以成为交往的障碍。