这个成语出自《庄子·秋水》。
庄子很有才学，喜欢通过生动的故事和恰当的比喻，阐发他对事物的见解。有一次，庄子讲了一个河伯的故事说明道理。
河伯，是传说中的河神。有年秋天，雨水特别大，千百条支流的水都灌入黄河，使黄河水面变得十分宽阔，隔岸遥望对岸田野里的牲畜，都分不清哪个是牛，哪个是马。河伯看到水势如此凶猛，心中非常欢喜，以为自己是最伟大的了，天下的荣华、富贵，全集中在自己身上了。
河伯高高兴兴地顺着黄河，向东奔去，一直奔到海边。他放眼向东边眺望，怎么也看不到大海的边际。大海波涛汹涌，浩瀚无穷，比起陆地上的那些江河，不知要大多少倍。河伯感慨万分，他转过脸来，仰望着天空中的太阳，深深地叹了一口气，对着海神说：
“常言说：‘见识愈少的人，愈自以为高明。’我就是这样的人啊！从前我听有人说，孔子虽然博闻多识，但知识仍然有限；伯夷虽然治国清廉，但义气仍然不够重。这些话我未敢相信。今天我看见了大海这样洪波万里，浩瀚无穷，方才觉得那些话并不是虚妄的。我从来没有到过海神的大门，因此，眼光狭窄，要被人家耻笑了。”
“望洋兴叹”的“洋”是“阳”字，“望阳”是望见太阳，因为太阳在天上，须仰视而望，因而“望洋”是仰视的意思。这个成语原指看见人家的伟大，才感到自己的渺小。现在人们则用这句成语比喻做事力量不够，无从着手，无可奈何。