汲黯威武不屈，刚直不阿，对以阿谀奉承而得到汉武帝赏识的人嗤之以鼻，经常公开批评汉武帝的宠臣，得罪了不少人。就在汲黯任主爵都尉而位列九卿的时候，窦太后的弟弟田蚡当上了丞相，仗势骄横，目空一切，许多大臣向他参拜时，他大多不回礼。汲黯对他这种傲慢的态度看不惯，遂见而不拜。大将军卫青的妹妹为皇后，人皆敬畏，而汲黯见到卫青也只作揖而不叩拜。有人说：“除了天子之外就数大将军尊贵了，你为何见而不拜？”汲黯说：“我只听说‘大将军’礼贤，况且，我跟他多说几句，本来是帮他的忙，这有什么不好吗？”卫青听说这话后，更加尊敬汲黯，每次军务方面有难事，他都要登门请教汲黯。丞相公孙弘在朝廷议事时从来不肯发表与汉武帝不同的看法。有时，他对汉武帝的某些决断本来也有异议，并且私下与汲黯等大臣约定要共同向汉武帝诉说真实的想法，但是一旦到了汉武帝面前，公孙弘就改变了态度，背离了事先的约定，改为完全顺从汉武帝的意志，与汲黯等人唱起了反调。汲黯为此大为恼恨，他当场批评公孙弘说：“你这是为臣不忠。”张汤因更改制定刑律法令刚做了廷尉，汲黯就曾多次在皇上面前质问指责张汤：“你身为正卿，却对上不能弘扬先帝的功业，对下不能遏止天下人的邪恶欲念。安国富民，使监狱空无罪犯，这两方面你都一事无成。相反，错事你竭力去做，大肆破坏律令，以成就自己的事业，尤为甚者，你怎么竟敢把高祖皇帝定下的规章制度也乱改一气呢？你这样做会断子绝孙的。”汲黯时常和张汤争辩，张汤辩论起来，爱深究条文，苛求细节。汲黯则出言刚直严肃，志气昂奋，不肯屈服，他怒不可遏地骂张汤说：“天下人都说绝不能让刀笔之吏身居公卿之位，果真如此。如果非依张汤之法行事不可，必令天下人恐惧得双足并拢站立而不敢迈步，眼睛也不敢正视了！”
汲黯毫不顾忌地公开批评公孙弘、张汤等朝廷的重臣，自然会招致他们的嫉恨。公孙弘等权臣多次寻机加害汲黯。有一年，汉武帝攻伐大宛，得到了一匹“神马”，十分得意。那时，汉武帝刚刚设立了乐府，就命人作了一首乐曲，兴师动众地演奏。汲黯看不过去，又进谏说：“为君王制作乐曲，对上是为了继承祖宗的伟业，对下是为了教化黎民百姓。现在陛下得了一匹马就作词作曲，在宗庙里演奏，先帝和百姓能够理解你这样的作为吗？”一席话说得汉武帝哑口无言，闷闷不乐。公孙弘借机陷害说：“汲黯这是诽谤皇帝的御制文献，应该判处灭族重罪。”然而汉武帝并没有怪罪汲黯。公孙弘向皇帝建议说：“右内史辖区内多有达官贵人和皇室宗亲居住，很难管理，不是素有声望的大臣恐难当此重任，请调任汲黯为右内史。”试图把汲黯打发到难以治理的右内史职位上去。然而汲黯当了几年右内史，政事井井有条，从未废弛荒疏过。朝廷里有汲黯这样一位忠贞的大臣在，的确也有威慑作用。淮南王曾经想谋反，但十分畏惧汲黯，说：“汲黯素爱直言相谏，固守志节而宁愿为正义捐躯，很难用不正当的事情诱惑他。至于游说丞相公孙弘，就像揭掉盖东西的蒙布或者把枯萎欲坠的树叶震掉那么容易。”因此只好作罢。此事传到后世，便有了“汲黯在朝，淮南寝谋”的典故，常被人引用。