康熙六年（公元1667年），于成龙升任四川合州知州。走的时候，罗城百姓“遮道呼号：‘公今去，我侪无天矣！’追送数十里，哭而还”，依依不舍。常言道，“三年清知府，十万雪花银”。而于成龙廉洁奉公，连去合州赴任的盘缠都没有。罗城地方凑了行资，派人暗中一路接济护送，才得以到达合州，情景感人动人。于成龙官是升了，但朝廷让这位清官去的合州却是困境重重，那里因常年战乱人口流失严重，一年向国家交纳的正赋仅有15两银子。但于成龙不到两年的任职时间，就使合州人口骤增，田地开辟。康熙八年（公元1669年），于成龙又因政绩显著被提升为湖广黄州府同知。在黄州府岐亭镇一带，盗贼甚至白昼劫路伤命，严重影响了地方安定和居民正常生活。于成龙上任之初，为了摸清盗情和每一件重大盗案，他总是亲自访察，多以“微行”的方式，扮作田夫，旅客或乞丐，到村落、田野调查疑情，从而对当地盗情了如指掌。于成龙对待案犯铁面无私，但主张慎刑，以教为主，采取“宽严并治”和“以盗治盗”的方法，取得突出效果。他排解过许多地方上发生的重大疑案、悬案，使错案得到平反，从而被百姓呼为“于青天”，民间还流传着“鬼有冤枉也来伸”的歌谣。
由于在黄州府同知任上的突出政绩，于成龙又深为湖广巡抚张朝珍器重，再次被举“卓异”。于成龙举“卓异”后，被调主持武昌府政务，之后，他两次平定“东山之乱”，身先士卒，危急关头置生死于度外，使战斗获得全胜，显示了他卓尔不凡处理动乱暴乱的能力。为此，他又受到湖广总督蔡毓荣的高度褒奖。康熙十七年（公元1678年），于成龙升福建按察使，上任伊始就做了一件为民称颂的好事。当时清廷实行“海禁”政策，统治者不顾连年兵祸，民不聊生，动辄以“通海”罪名兴起大狱，使许多沿海渔民罹难。于成龙在审阅案卷时，发现每案被拟极刑的就达数十人或上百人之多，甚至殃及妇女孺子。于是他坚决主张重审，对怕得罪清室而劝阻他的人说：“皇天在上，人命至重，吾誓不能咸阿从事！”在他的力争和主持下，先后使千余名百姓免遭屠戮而获释，贫困不能归者还发给路费。他自己则自甘淡泊，一尘不染。福建巡抚吴兴祚以“廉能第一”将他上报，朝廷升他为布政使。未逾两年，出任为两江总督。身为“治官之官”，于成龙始终把整顿吏治放在工作的首位。他指出：“国家之安危由于人心之得失，而人心之得失在于用人行政，识其顺逆之情”。他根据自己的体会，制定了以“勤抚恤、慎刑法，绝贿赂，杜私派，严征收，崇节俭”为内容的《新民官自省六戒》作为地方官的行为准则。方法上，康熙帝称其“宽严并济，人所难学”。
于成龙历任湖北黄州同知、福建布政使、直隶巡抚、两江总督。官职越当越大，自奉愈来愈薄。他的清廉艰苦，几达常人不能理喻的地步。逢灾荒年岁，他以糠代粮，将口粮薪俸节省下来救济饥民。百姓尝有歌谣：“要得清廉分数足，唯学于公食糠粥。”他甚至把仅剩的一匹代步的骡子也“鬻之市，得十余两，施一日而尽”。当地富户在他的带动下，也纷纷解囊救民。于成龙赴任福建途中，除行囊一捆，还带萝卜数十斤以供沿途食用。平日“饮茶”，皆命仆从摘屋后槐叶代用，久之，“树为之秃”。他一年四季不见肉味，遂得一雅号“于青菜”。公生明，廉生威，闻于公将至，“官吏望风改操”。
作为清朝一品大员的于成龙貌似严厉，其实待人非常随和，没有官架子。公务时间，他的衙署大门始终敞开着，官吏有事找他，就直接进入他的寝室。他的桌案上左边放着生姜、豆豉，右边放着案卷文书，就像农村的教书先生一样，随便与人交谈。江南生活比较富裕，许多官员以纸醉金迷为荣。于成龙以总督身份做表率，生活俭朴至极。客人问他，为什么要这么清苦？他答道：“多留一些米，就可以多赈济一些饥民。”在他的影响下，江南各地的社会风气发生了明显变化。官僚、巨商都脱下绫罗绸缎，改穿布衣；高门大户，将大门楼改筑成小门楼；横行乡里的少数恶霸，也都悄悄地避居到外地。但不少人是慑于于成龙的威势，表面上表现出改邪归正的样子，背地里却极力造谣诽谤，甚至有人诬蔑于成龙来到富庶的江南后，也开始作威作福，不像以前那样清廉了。由于众口铄金，连一向对于成龙颇为信任的康熙皇帝也起了疑心。于是康熙帝暗中派人去调查，得知实情后，拿出宝剑斩断桌子说：“如再有人说于成龙是贪官，这就是他的下场。”
于成龙清正廉洁，自甘淡泊；忠于职守，勤政为民；刚正不阿，百折不挠。其事迹之感人，为历代所传颂；其精神之广播，为官民楷模。他来也两袖清风，去也两袖清风。康熙二十三年（公元1684年），于成龙逝世，享年六十八岁。官员亲友去他家吊唁，只见家中“冷落菜羹……故衣破靴，外无长物”，众人无不相顾痛哭，就连“平时心惮成龙者，俱感动流涕”。消息传出，南京“士民男女无少长，皆巷哭罢市。持香楮至者日数万人。下至菜庸负贩，色目、番僧也伏地哭”，还绘了他的画像，长期祭祀，可见中下层人民对他的死是十分悲痛的。康熙皇帝特地派员致祭，赐谥“清端”，还对大臣们说：“于成龙任总督江南时，有人说他变质了，操守大不如前。到他去世后，才知道他一生始终保持廉洁，为百姓所称颂。这是因为他本性耿直，不肖之徒心中嫉恨，才制造出这样的谣言。像于成龙这样做官的，普天之下能有几个呢？他真可以称得上是天下第一廉吏啊！”康熙破例亲自为他撰写碑文，表彰他廉洁刻苦的一生。