黄霸到颍川上任，不光安抚平民百姓，还着力对贪官进行教化，让他们心服口服。汉宣帝继位以来，常常发布恩泽诏书，减免百姓的赋税徭役，鼓励发展生产，使民得以休养生息。但是，很多地方官吏都把皇帝的诏书当成官样文章，很少向下颁布，致使很多百姓都不知道诏书的内容。黄霸把颍川郡各县令都叫来，让他们一个个背诵汉宣帝的新政新法令，会背诵的就放走，不会背诵的留下来读。他说连皇上的新政新令都不懂，如何去治理百姓。有一个县令读“六条问事”时，读得浑身发抖跪在地上，磕头如捣蒜地说：“大人，我认罪，我错了，我以六条问事，请大人赏我一个全尸。”因为他的所作所为与“六条问事”条条沾上了边，如按法惩办，必死无疑。所谓“六条问事”是考察地方官员的标准，内容包括不许“背公向私”、“侵渔百姓”等。黄霸到任后将“六条问事”法令在大街小巷到处张贴，让官吏自觉遵守，并大张旗鼓地宣传，老百姓个个知道了，人人感恩皇上。黄霸认为考察的重点应在防患于未然，而不是事发后的追究与处理，所以郡守官员和二十多个县令个个心悦诚服。黄霸还命令各级乡官养猪养鸡，用来赡养孤独的老人和救济贫民。他到任后之所以先不触动和打击豪强地主，不是他不想打击，而是他认为打击这些人的时机尚未成熟。在他看来，最重要的事是重视农桑，发展生产，丰衣足食，使农民上足以赡养父母，下足以抚养儿女，好年成可以丰衣足食，坏年成也不至于饿死。流亡百姓见有了出路，便纷纷返乡耕种。经济上打下了一定基础后，他开始打击豪强地主、恶霸、地痞。凡证据确凿，便狠狠地打击，让他们补足拖欠国家的税款，返还强占百姓的土地、粮食、牲畜、房屋。当然，黄霸也不忘教化他们，给他们出路，让其全家老少开荒种田，自食其力。黄霸把汉宣帝的休养生息政策逐一贯彻，使百姓安居乐业。五年之后，颍川夜不闭户，路不拾遗，成了繁华富饶之地，“户口岁增，治为天下第一”。汉宣帝非常高兴，下诏调黄霸出任京兆尹，并赏赐他100斤黄金。他却把100斤黄金捐献给颍川郡修理河道，自己分文不留。
这时，发生了一宗著名的“汉武帝庙乐案”。汉宣帝是汉武帝的曾孙，不是汉昭帝嫡血，曾经一度沦为平民，由于霍光集团势力庞大，威胁到皇权，因此时刻有被罢黜的危险。汉宣帝为消除隐患，要朝臣重议庙乐，颂扬汉武帝的功德，为汉武帝追加尊号，抑制霍氏集团。朝中大臣立即附和，纷纷称颂汉宣帝也是英明贤君，是汉武帝的真传，兴武拓疆，继统大业。当然这正是汉宣帝所希望听到的。此时为人耿直的长信少尉夏侯胜却提出了异议，他希望汉宣帝不要将精力放在重议庙乐一事上，说现在不是颂扬汉武帝的文韬武略、开疆拓土的时候，首要的是考虑如何安定社会、振兴百业的问题。黄霸是满朝文武中唯一支持夏侯胜观点的人，他拒绝在众臣弹劾夏侯胜的联名书上签字，更挺身而出劝说汉宣帝撤销重议庙乐。汉宣帝勃然大怒，把两人打入天牢。夏侯胜是西汉有名的经学大师，著有《尚书》，是“大夏侯学”的开创者。身陷囹圄的黄霸不仅没有意志消沉，反而趁此机会向夏侯胜学治国之道。黄霸虚心向夏侯胜学习儒家经典，日复一日，坚持不懈。两人在监狱里并不觉得冷清，读书写字，乐得逍遥。直到三年之后，中原地区遇到大地震，汉宣帝为祈求太平大赦天下，他们才出狱。
黄霸为官的时期，正值统治集团内部争权夺利的分裂时期，朝廷分成两大派，不少朝臣纷纷往两边送礼行贿，以确保自己头上乌纱帽不丢。黄霸生性耿直，对两派皇权争斗，一概不闻不问。他担任廷尉正掌管刑法时，一如既往奉公守法，不贪私利，对贪赃者严厉惩处，使那些隐藏较深的贪利者不得不有所收敛。黄霸断案也竭力主张用儒家的德治，崇尚仁政，反对酷刑，先行教化，后用刑罚。他认为断案必须依据法律条规，必须有证据，不能以个人主观臆断及好恶办案。同时他还坚持从轻处理疑案的原则，对无证据或证据不足或暂无法取证的就从轻发落，释放回家，以观后效，对那些年老有病非十恶不赦者也从轻处理。结果救了很多人的命，监狱不再人满为患，到衙门来告状喊冤的人也减少了。民间赞扬黄霸持法平和。
“均输”是汉朝的一项特殊经济政策，就是由国家统一征购、转销、调运货物。黄霸任均输长时，手里过钱无数，依然很廉洁，且一改前任做法，先张贴告示，公布市价，教化商人，不准哄抬物价、囤积居奇；下令杜绝送礼，杜绝请客吃饭；按照公平、公正、公开原则做买卖，尽快充实国库，弥补前任的亏空；按照正规渠道、法令、印章解送银两进京。
黄霸清正廉洁，尽忠职守，一心为国，不计个人私利，在举国官吏以严刑重法为风尚的大气候下，不随波逐流，用法宽和，为老百姓营造了一个安定和谐的社会环境；他关爱体恤下属，以身作则，树立起外宽内明、恪尽职守的良好政风，从而赢得“自汉兴，言治民吏，以霸为首”的美誉。虽世异时移，但黄霸的所作所为仍对我们有很多启示，值得后世借鉴。