东汉末年枭雄并起，中原社会动荡不安，皇帝昏庸无能，政客钩心斗角，军阀厮杀混战，中国历史进入一个政治黑暗、人心险恶的时代。但这一时期的胡质却能出淤泥而不染，忠清在公，洁身自好，给当时的政治带来了一股清廉之风。
胡质自幼生长在官宦人家，他的父亲胡通达早在东汉时就在朝中做官，为朝廷规划国事，很有威望。受家风影响，胡质形成为人细致缜密、敦厚沉稳、刚强正直的品格。青年时期的胡质品学兼优，通过古代选拔官员的方式“举孝廉”做了一名地方小吏，因其为人细腻精诚、做事公正不阿在江淮一带为人所广知。他的朋友蒋济在朝廷当了官，曾经向曹操介绍胡质的父亲胡通达乃是江淮德高望重之人。曹操非常感兴趣，问蒋济：“胡通达这么德高望重，他的子孙后代怎么样了？”蒋济回答道：“胡通达有个儿子叫胡质，也是一位深孚众望的贤者，从高瞻远瞩规划大局上来说，胡质不如他的父亲，但从办事精明上来看，就要远远地胜过胡通达了。”胡质被曹操任命为顿丘县令，后来进入朝廷担任丞相东曹议令史，之后又被曹操任命为丞相属，魏文帝年间屡迁吏部郎、常山太守、荆州刺史等要职。胡质政绩卓著，为官清廉，不经营家产私业，家中没有多余财产。
胡质刚当上顿丘县令时，年龄虽轻，却善于通过现象看事物本质，总能明察秋毫，为人刷洗冤屈。他上任未久，就遇到了一件极为棘手的案件。县里有个叫程他的人被谋杀，许多人怀疑是程妻所为，只是苦于没有证据。郡里的属吏冯谅将程他的妻子和程妻的堂兄郭政抓起来审问。两人死都不认，虽遭受酷刑，绝不改口，反过来状告冯谅诬陷。于是冯谅被拘入牢中，由于受不了棍棒的拷打和折磨，一时软了，认了诬陷之罪。案情扑朔迷离，县中人议论纷纷。胡质到任后，面对激愤的民情，深知此案事关重大。但他并不急于审案，而是轻装简从，穿街走巷，寻得人证、物证，这才重新升堂审理。证据确凿使程妻与郭政再也无法抵赖，只得认罪。原来，他兄妹二人暗地私通，被程他觉察后，遂杀之灭口。冯谅怎么也想不到，年纪轻轻的县丞大人不费一鞭一棍，便明察秋毫，洗清他的冤屈，不禁高呼“青天”，长跪不起。黄初年间，胡质调任为吏部郎，任常山太守，后迁任东莞太守。东莞有个士人叫卢显，性情温和，素不与人结仇，有一天却被杀死在家中。众人颇为不解。胡质问明情由，稍一沉吟，断然说：“此人没有仇家却有个年轻的妻子，这就是他的死因！”差役们将信将疑，把与卢显住得较近的年轻男子全都叫来询问。当问到书吏李若的时候，该嫌疑人以为东窗事发，顿时脸色大变，瘫软在地，案情因此大白，原来卢显的妻子与李若通奸，他们合谋杀死了卢显。在古代，地方官掌握着生杀大权，好人冤死狱中，罪犯逍遥法外的情况屡见不鲜。只有明辨是非才能为受害人伸张正义，将真正的罪犯绳之以法。从这一点上来讲，胡质不愧为民做主的好官。
胡质不但精于推理，细查入微，让人佩服，其人品也一尘不染，与历史上许多著名的清官相比毫不逊色。《三国志》记载有他拒绝权贵的故事。将军张辽是一名威震四方的猛将，为曹操成就霸业立下了赫赫战功。但张辽是一个很霸道的人，他的护军武周温文儒雅，文武双全，张辽一向对他颇为倚重。一日，两人为小事出现分歧，张辽暴跳如雷，当即拉了胡质去见刺史温恢，要求让胡质担任他的护军。胡质好不惊诧，连忙称病推辞。张辽出来后气呼呼地对胡质说：“多少人看中护军这个职位，我诚心给你来做，你为什么这样辜负我的心意呢？”胡质正色说：“古代人交往，相互之间讲究的是信任，看到对方虽然钱财拿得多，但却信任他不贪；打仗时看到对方败逃，但明白他并不怯懦；听到有关他的流言蜚语，却绝不相信，这样的朋友才可以善始善终。武周是位雅士，先前将军对他赞不绝口，如今却为一点点小误会，便结成怨仇，更何况我胡质才识浅陋，怎么能和您长久友好相处呢？所以我不愿答应您的请求。”张辽被胡质的一番话说得羞愧不已，回去后主动与武周和好如初。从胡质与张辽的对话，可以看出胡质的确具有刚正不阿的高尚品格。
胡质断案之时明辨是非，不失毫厘；大是大非的紧要关口，又能以大局为重。吴国大将朱然包围樊城，帐下的谋士均以敌人士气太盛为由，力主静观其变。胡质拂袖而起，决然说：“在这件事上没什么更好的法子，樊城很小，兵力也少，理当进兵外援，不然，它就会陷于危险。”他亲率数千兵甲赴援，浴血奋战一昼夜终于为樊城解围。他爱兵如子，每次军功得到赏赐，都分发给部下，从不拿到家里。在郡中任太守九年，官民都安定太平。他还善于用正气凝聚军心，将士也肯为他效命。后来，胡质升迁为征东将军，指挥青州、徐州等地军事。他深谋远虑，在任上广开农田，积蓄粮谷，还设置东征台，一边耕作，一边守备。他还在各郡中修通渠道，以便舟船通行，严加防守以应对敌人来犯，使各州固若金汤，沿海地区得以多年平安无事。胡质的屯田举措为曹操所赏识，并在中原地区广泛推行。