汲黯劝谏汉武帝，并不是为了展示自己的辩才，而是实实在在地为朝廷和百姓着想。汉武帝好大喜功，他在位五十四年，对匈奴作战长达四十四年。攻打匈奴取得胜利后，匈奴浑邪王率部众降汉，汉武帝下令向长安城内的老百姓征借两万辆马车去迎接他们。老百姓纷纷把马及车藏起来，结果无法凑齐。汉武帝大怒，要杀掉长安县令。汲黯说：“长安县令没有罪！匈奴叛主降汉，皇上您应该按照以前的规定，让沿途有关各县用马车依次把他们接运过来，为什么弄得天下骚动，使我国的老百姓疲于奔命地去侍奉匈奴人呢？您干脆把我杀掉得了！杀了我，老百姓就把马献出来了。”汉武帝沉默无言。浑邪王率部到长安后，得到很多赏钱，荷包鼓了，便向当地人购买各种东西。按照汉朝的法令，任何人不得持铁器出关，卖给胡人，否则以死罪论处。民间百姓不知法，有的人把铁器卖给了匈奴人，按法律规定那些卖铁器的人应该处死，结果有五百多人有杀头之祸。于是，汲黔又向汉武帝进谏：“匈奴攻打我们设在往来要路上的关塞，断绝和亲的友好关系，我国发兵征讨他们，战死疆场与负伤的人数不胜数，而且耗费了数以万计的巨资。为臣愚蠢，以为陛下抓获匈奴人，会把他们都作为奴婢赏给从军而死的家属，并将掳获的财物送给他们，以此告谢天下人付出的辛劳，满足百姓的心愿。即使做不到这一点，浑邪王率领几万部众前来归降，也不该倾尽官家府库的财物赏赐他们，征调百姓去伺候他们，把他们捧得如同天之骄子一般。无知的百姓哪里懂得让匈奴人购买长安城中的货物，就会被死抠法律条文的执法官视为将财物非法走私出关而判罪呢？陛下不能用缴获来的匈奴物资来慰劳天下人，却还要根据苛刻的法令杀戮五百多无知的老百姓，这就是所谓‘保护树叶而损害树枝’的做法，我私下认为陛下此举是不可取的。”汉武帝又是照例沉默不语，却在背后发牢骚：“很久没听到汲黯说话，如今又开始胡说八道了。”汲黯这种刚直的个性，尽管能得到汉武帝的包容，但也很难长久地在朝廷待下去。数月之后，汉武帝找了个理由，罢了汲黯的官。汲黯于是回乡隐居。
过了几年，遇上国家改铸五铢钱，老百姓很多人私铸钱币，楚地尤其严重。汉武帝认为淮阳郡是通往楚地的交通要道，就征召汲黯为淮阳郡太守。汲黯拜伏于地辞谢圣旨，不肯接印，皇上屡下诏令强迫给他，他才领命。汉武帝下诏召见汲黯，汲黯哭着对皇上说：“我本以为死后尸骨将被弃置沟壑，再也见不到陛下了，想不到陛下又收纳任用我。我常有病，体力难以胜任太守之重任。我希望当中郎，出入宫禁之门，为您纠正过失，补救缺漏。这就是我的愿望。”汉武帝说：“你看不上淮阳郡太守这个职位吗？过些时候我会让你回来的。只因淮阳地方官民关系紧张，我只好借助你的威望，请你躺在家中去治理吧。”汲黯向汉武帝告别后，又去探望大行令李息，他说：“我被弃置于外郡，不能参与朝廷的议政了。可是，御史大夫张汤的智巧足以阻挠他人的批评，奸诈足以文饰自己的过失，他专用机巧谄媚之语，强辩挑剔之词，不肯堂堂正正地替天下人说话，而一心去迎合主上的心思。皇上不想要的，他就顺其心意诋毁；皇上想要的，他就跟着夸赞。他喜欢无事生非，搬弄法令条文，在朝中他深怀奸诈以逢迎皇上的旨意，在朝外挟制为害社会的官吏来加强自己的威势。您位居九卿，若不及早向皇上进言，您和他都会被诛杀的。”李息害怕张汤，始终不敢向汉武帝进谏。汲黯治理淮阳郡务，一如往昔作风，淮阳郡政治清明起来。汲黯作为淮阳的地方官，史书对他的评价：淮阳政清。后来，张汤果然身败名裂。汉武帝得知汲黯当初对李息说的那番话后，判李息有罪，诏令汲黯享受诸侯国相的俸禄待遇，依旧掌管淮阳郡。七年后汲黯逝世。
汲黯去世后，汉武帝非常怀念他。因为汲黔的关系，让他的弟弟汲仁官至九卿，儿子汲偃官至诸侯国相。汲黯姑母的儿子司马安年轻时也与汲黯同为太子洗马，官位做到九卿，在河南郡太守任上去世。他的弟兄们由于他的缘故，同时官至两千石俸禄职位的多达十人。汲黯直言敢谏，不畏权势，忠心为国，得到时人和后人的称赞。司马迁在《史记》中怀着极其钦佩的心情为汲黯树碑立传，表彰他特立独行、秉正嫉恶、忠直敢谏、一心为公为民的杰出品格。西汉名臣黄霸等把汲黯尊为官吏的楷模。当时舆论把他视为诤谏之臣的代表，不再称呼他的本名，干脆爱称之为“汲直”。后世许多敢于直谏的名臣都从汲黯身上找到了力量的源泉。杜甫曾作诗说：“汲黯匡君切，廉颇出将频。”这位“临大节而不可夺”的传奇人物、伟岸丈夫，也因此而千古流芳。