这个成语出自《后汉书·赵咨传》。
东汉的赵咨为官清廉，很受人尊敬，灵帝时，曾当过敦煌太守。以后借病辞职归乡，带领子孙务农。他本来不想再去做官，但是由于别人再三推荐，不得已应召出来，担任东海（今山东省和江苏省东北交界一带）相。赵咨赴任的时候，路经荥阳（今属河南省）。县令曹暠（hào）听说以后，马上到郊外去迎接。赵咨任敦煌太守时，曾推荐曹暠为孝廉，因此曹暠想很好地招待赵咨一番。不料，赵咨根本不停车，继续往前赶路。这下，可急坏了曹暠，他赶忙向前追赶。可是赵咨的车子跑得很快，只能见到车马扬起的尘土，根本追不上他们。曹暠对手下主簿说：“赵咨声望很高，现在路过我们这里，没和我们见面，天下人一定会耻笑我们。”说完，曹暠把官印交给主簿，一直追到东海，与赵咨相见后，才告别回家。
“望尘莫及”原意是远望着前行者车马所扬起的灰尘，就是追赶不上。现在比喻别人进步快，自己远远落后，怎么努力也赶不上。