这个成语出自东晋陶渊明的《桃花源记》。
东晋太元年间，湖南武陵有一个渔人，有一天沿着溪水划船，不记得划了多远的路，看到前面一片桃花林，夹在溪水两岸有几百步宽，林子里芳草鲜美，落花满地。渔人看呆了，不知不觉来到桃花林尽头，正是溪水的发源地。面前有一座山，渔人就下船，走到山上的小山洞里，在狭窄的洞里走了几十步，忽觉眼前豁然开朗，只见那里土地平坦、肥沃，房屋整齐，人们快活地在田里耕种，小孩在田头嬉笑，到处是一片和平宁静的景象。人们见到渔人也非常惊奇。渔人与他们交谈起来，才知他们的祖先是在秦朝时为逃避战乱躲到这里来的，自此与世隔绝，不知世上从秦朝到魏晋已经多次改朝换代了。渔人在这里受到人们的热情款待，他住了几天，回去后报告了太守。当太守派人再去寻找“桃源”时，却怎么也找不到了。
人们由此引申出“世外桃园”这个成语，比喻与外界隔绝的平静美好的地方和一种空想的脱离现实的美好境地。