这个成语出自《史记·高祖本纪》。
公元前206年，刘邦的军队打败了秦军，占领了秦都城咸阳。
刘邦进入城内，看见雄伟壮观、金碧辉煌的宫殿，很想住进去享受一番。大将樊哙和谋臣张良都极力劝说他不要因为贪图享乐而失去民心误了大事。刘邦虚心地接受了他们的意见，下令把咸阳的贵重财宝及宫殿、仓库等全部封存起来，并退兵灞上。
为了严明纪律，安定民心，刘邦召集各县父老及豪杰，宣布废除秦二世时的酷刑，实行新法。他说：“暴虐的秦王使你们受苦了。我与诸侯约定，先入关的称王。我先入关，所以应称王。现在我与大家约定三条法律：第一，杀人者判死刑。第二，任意伤人的要治罪。第三，偷盗抢劫的人要受惩罚。”即“与父老约，法三章耳，杀人者死，伤人及盗抵罪。”这就是历史上著名的“约法三章”。
刘邦的措施受到了关中人民的拥护，从此，他的声望更高了。
成语“约法三章”原指约定法律三条，现在则指定出几条规矩，大家共同严格遵守。