这个成语出自《论语·述而》：“三人行，必有我师焉，择其善者而从之。”意思是说，在三人同行的当中，必定有一个可以做我的老师的，我就选择那个好的，拜他为师，向他学习。
另据《左传·昭公二十八年》记载，春秋时，晋国大臣魏献子消灭了旧贵族祁氏和羊舌氏，把他们的领地分为十个县，委派有功于王室的贾辛、司马乌等人去做县宰，还分给魏戊等人每人一县作为食邑。过后，魏献子担心这样做会被别人认为是搞宗派。大夫成鲭（qīng）说：“魏戊忠于君王，为人谦逊，能‘择善而从之’（即发现并学习别人的优点），分给他一个县作食邑是完全应该的。”魏献子遂放心了。故“择善而从”也有时用作“择善而从之”。
这个成语本意是选定其中好的，随从他，向他学习。从，追随，引申为学习。后来指发现别人的优点后就学习这些优点。