这个成语出自《尚书·大禹谟》。
相传四千多年前的尧、舜、禹时代，黄河流域洪水泛滥成灾，人们被迫搬到高地上去生活，大家苦于水患，热切希望能加以治理。尧帝时，鲧（gǔn）受尧的委派负责治水。可是，他治水九年却没有结果。舜帝时，舜又把这一艰巨的任务交给了鲧的儿子——禹。
为彻底治理洪水，解除百姓的灾难，禹毅然离别了新婚妻子，忘我地投入到了治理洪水的艰苦工作中。禹认真地察看了地形，吸取了前人失败的经验教训，采用疏导的办法，带领老百姓挖渠筑坝，疏通江河，引水入海。经过十三年的艰苦努力，终于制服了洪水。在治水的艰苦岁月中，大禹曾三次路过自己的家门都没有进去看一下。禹不仅具有公而忘私的高尚品质，而且在生活上也非常俭朴，平时总是节衣缩食，和老百姓同甘共苦。
大禹治水成功，得到了人民的拥护，舜见他是个有才德的人，便要把部落首领的职位让给他。禹不肯接受。舜说：“禹啊！你是一个贤能的人，既能勤劳地治国，又能节俭地持家（原文为：‘惟汝贤，克勤于邦，克俭于家’），谦虚而不自满，踏实而不浮夸。”最后，在舜的坚持下，大禹接替了舜的职位。
人们把“克勤于邦，克俭于家”简化成“克勤克俭”这个成语，表示又勤劳又节约。