这个成语出自汉朝刘昼所作《新论·贪爱》。
战国时，秦国想吞并与之邻近的蜀国。但由于秦蜀两国之间山高路险，攻取不便，秦国就利用蜀国贪得无厌的特点，投下一个诱饵：秦王让人用石头雕刻了一头石牛，在牛屁股后面放些金银财宝，说是石牛拉出的粪便，然后把石牛放在秦蜀之间的小路上送给蜀王。蜀王听说秦国送来一条会拉金子的牛，高兴得不得了，马上命令大汉们开山修路。路修好后，秦兵就以护送石牛为名，顺着蜀王新开的山路进攻蜀国，蜀国因而灭亡。人们听说这件事后，都讥笑蜀王“贪小利失其大利”。
“贪小失大”，比喻因贪图小利而造成重大损失。