出身儒学世家。少年时，随父宦游山东、河南、河北，青年时期就读洛阳太学，二十余岁入仕供职权臣贾充幕府后历任京官，因拍皇帝马屁显露才华被当权者左迁河阳县令(今洛阳吉利区)、潘岳负其才而郁郁不得志。时尚书仆射山涛、领吏部王济、裴楷等受宠，潘岳很憎恨他们，于是在宫殿大门柱子上写下歌谣：“阁道东，有大牛。王济鞅，裴楷鞧，和峤刺促不得休。” 又被左迁离洛阳更远的怀县做县令潘岳做得有声有色、政绩斐然，朝廷提拔他到京城做财政部官员后来因为犯事被免职不久被太傅杨骏引入门下做了太傅主簿，后来太傅杨骏获罪被诛灭十族，潘安作为幕僚也在被诛之列，幸亏当时他公事在外又有当权者楚王的心腹他的好友公孙弘替他说话（潘岳曾在他贫困潦倒时帮助过他）他被调往长安做县令，因为母亲生病辞官奉养，在此期间与好友石崇附会贾充外孙贾谧，之后升迁做了黄门侍郎，贾谧开阁延宾，召集天下文士潘安、石崇、陆机、左思、刘琨等二十四人因文采盖世被称为“鲁王二十四友”他们经常活跃在巨富石崇的金谷园里因此也被称为“金谷二十四友”。贾谧晋书断限的功劳是潘安出的主意，潘安的母亲经常劝他不要趋附不已，他虽然口头受教，实际上却愈发不知足，始终改不掉。之后赵王司马伦囚禁晋惠帝自立为帝，他的亲信孙秀当上了宰相，原来当初孙秀不过是个下人小吏，潘岳的父亲曾经做过他的上司，当时潘岳因为看不惯孙秀为人狡黠经常鞭挞他，如今孙秀得势遂罗织罪名说他和石崇要和某王爷一起造反，于是他和石崇等人被诛灭三族，当初孙秀当上宰相潘岳在朝堂上遇见他拉着孙秀笑脸问道：“孙令犹忆畴昔周旋不”（孙宰相还记得当初吗）孙秀回答：“中心藏之，何日忘之！”潘岳于是自知不免。