元兴元年（公元402年）春，荆、江二州刺史桓玄进入建康，控制东晋朝政后，为提高自己的声望，装模作样地贬黜佞臣，提拔俊贤。于是，素有廉洁美名的吴隐之被封为龙骧将军，领平越中郎将，持节出任广州刺史。广州地处南海，所辖地域包括现在的广东、广西大部，气候温暖湿润，物产丰富，而且是我国对外通商最早的城市，自东汉以来，一直为海上贸易中心。外国商船经常带来许多奇异的珍宝。来此做官的官吏只要携带一箱珠宝返回内地，就可供子孙几代享用。所以历任刺史，心思都以搜敛珠宝为首要，没有不发横财的。东晋王朝也深知这种弊端，并想整治革除，而苦于找不到合适的人选。吴隐之接到任命后，立即携带家眷起程上路。
所谓“贪泉”，原是广州郊外20里石门镇的一股涌泉。该泉水终年清澈见底，香气四溢，而且十分甜润。但不知从何时开始，这儿出现了一个新的说法：不论多么清正廉洁的人，只要喝了这泉水，便会顿起贪心，产生无穷的欲望，从而干出一些伤天害理的勾当。因此，该泉也随之被人叫成了“贪泉”。附近官吏贪污受贿，中饱私囊罪行败露后，往往以误饮“贪泉”水为借口来开脱罪责。因此一些正直的人路经此地，大都绕道而行；也有些人为了标榜自己，哪怕渴得口干舌燥也决不喝一口“贪泉”水。
吴隐之到达石门镇时，也听到了这种传说。但他认为：一个官吏贪不贪，关键在于心术正不正，与泉水毫无关系。为戳穿那些贪官的邪说谎言，便让人领他来到“贪泉”边，俯下身去，掬水而饮。随后，还赋诗一首：
古人云此水，一歃怀千金。
试使夷齐饮，终当不易心！
意思是：许多年来，人们传说喝了贪泉的水便会贪得无厌，欲壑难填。我认为，假如品德高洁的伯夷、叔齐喝了它，一定不会改变初衷的！此诗充分体现了吴隐之以伯夷、叔齐为榜样而矢志自律、不易节操的情怀。这实际上也是他履新赴职当众发表的演说，是他的誓词。
吴隐之上任后，非常注意自己的操行，平时饭菜没有酒肉，仅以咸菜和干鱼就餐。衣着都是以往穿过的，没有添置新衣。官府给他配备的帷帐器物，也都送到仓库里堆放起来。不了解吴隐之的人都说他矫揉造作，为了博取虚名。然而，吴隐之不为这些闲言碎语所动，始终坚持去奢务俭的节操。他手下有位官吏知道吴隐之爱吃鱼，就经常进献去了骨刺的鱼，想讨好吴隐之，以利于升迁。当吴隐之发现此人动机不良后，不仅没有领情，还处罚和贬降了他。从此，再也没人敢向吴隐之送东西了，官府的行贿之风也有了收敛。
一次，吴隐之和妻子在湖畔观览风光，妻子乘兴买了一斤沉香给他看。吴隐之接过一看，嫌是奢侈之物，便随手抛入湖中。由于吴隐之自身廉洁俭朴，又严于吏治，手下官属大都不敢骚扰百姓，素以贪赃渎职闻名的岭南，吏治有了新的改观。为此，晋安帝特下诏书表彰说：“孝敬的品行笃于闺门，高洁的节操厉乎风霜，实在是为人处世所难以做到的，然而是君子的最高美德。吴隐之孝顺父母，友爱兄弟超过常人，俸禄分给九族共享，自养菲薄，俭朴过人。本来处在可以发财的地域，却不改清操；本来具备了富有的地位、条件，一家人却不肯改换旧服。恪守自律，革奢务俭，致使南岭腐败的吏治大为改观。朕理应给予嘉赏，所以晋号前将军，赐钱五十万，谷千斛。”
元兴三年（公元404年），卢循率领东南八郡的农民起义军进攻广州。吴隐之率领士卒还击，他的儿子吴旷之战死沙场。经过一百多天的激烈战斗，广州失陷，吴隐之也成了阶下囚。当时东晋朝廷也发生了剧变。桓玄野心膨胀，废除晋安帝自立，致使各地的刺史、太守纷纷起兵反对。刘裕纠集了一批北府兵的中下级将领在京口和广陵同时起兵，讨伐桓玄，很快攻入建康。桓玄挟持晋安帝出逃，兵败被杀。义熙元年（公元405年）二月，刘裕迎晋安帝回建康复位，并执掌朝政。卢循乘机上表东晋朝廷，自称平南将军，代理广州刺史，又以吴隐之系桓玄同党，请求处死。刘裕因忙于肃清桓氏余党，巩固自己的权力，无暇远顾，遂同意卢循割据岭南的要求，但处斩吴隐之不予批准，并写信让他把吴隐之遣送回京都。吴隐之这才被释放。吴隐之乘船返回时，没有装载多余的东西，在广州当了两年多的刺史，回建康时还和南来赴任一样，身无长物，两袖清风，与前后刺史离任归还时“船载洋货，车装珍宝”形成了鲜明的对比。为他送行的老百姓称颂说：“大人处可欲之地不改其操，真乃当今夷齐也。”