恭、显见其书，愈与许、史比而怨更生等。堪性公方，自见孤立，遂直道而不曲。是岁夏寒，日青无光，恭、显及许、史皆言堪、猛用事之咎。上内重堪，又患众口之浸润，无所取信。时长安令杨兴以材能幸，常称誉堪。上欲以为助，乃见问兴：“朝臣龂龂不可光禄勋，何邪？”兴者，倾巧士，谓上疑堪，因顺指曰：“堪非独不可于朝廷，自州里亦不可也。臣见众人闻堪前与刘更生等谋毁骨肉，以为当诛，故臣前言堪不可诛伤，为国养恩也。”上曰：“然此何罪而诛？今宜奈何？”兴曰：“臣愚以为可赐爵关内侯，食邑三百户，勿令典事。明主不失师傅之恩，此最策之得者也。”上于是疑。会城门校尉诸葛丰亦言堪、猛短，上因发怒免丰。语在其传。又曰：“丰言堪、猛贞信不立，朕闵而不治，又惜其材能未有所效，其左迁堪为河东太守，猛槐里令。”
显等专权日甚。后三岁余，孝宣庙阙灾；其晦，日有蚀之。于是上召诸前言日变在堪、猛者责问，皆稽首谢。乃因下诏曰：“河东太守堪，先帝贤之，命而傅朕。资质淑茂，道术通明，论议正直，秉心有常，发愤悃愊，信有忧国之心。以不能阿尊事贵，孤特寡助，抑厌遂退，卒不克明。往者众臣见异，不务自修，深惟其故，而反晻昧说天，托咎此人。朕不得已，出而试之，以彰其材。堪出之后，大变仍臻，众亦嘿然。堪治未期年，而三老官属有识之士咏颂其美，使者过郡，靡人不称。此固足以彰先帝之知人，而朕有以自明也。俗人乃造端作基，非议诋欺，或引幽隐，非所宜明，意疑以类，欲以陷之，朕亦不取也。朕迫于俗，不得专心，乃者天著大异，朕甚惧焉。今堪年衰岁暮，恐不得自信，排于异人，将安究之哉？其征堪诣行在所。”拜为光禄大夫，秩中二千石，领尚书事。猛复为太中大夫给事中。显干尚书[事]，尚书五人，皆其党也。堪希得见，常因显白事，事决显口。会堪疾喑，不能言而卒。显诬谮猛，令自杀于公车。更生伤之，乃著《疾谗》《挞要》《救危》及《世颂》，凡八篇，依兴古事，悼己及同类也。遂废十余年。成帝即位，显等伏辜，更生乃复进用，更名向。向以故九卿召拜为中郎，使领护三辅都水。数奏封事，迁光禄大夫。
是时帝元舅阳平侯王凤为大将军秉政，倚太后，专国权，兄弟七人皆封为列侯。时数有大异，向以为外戚贵盛，凤兄弟用事之咎。而上方精于《诗》《书》，观古文，诏向领校中《五经》秘书。向见《尚书·洪范》，箕子为武王陈五行阴阳休咎之应。向乃集合上古以来历春秋六国至秦汉符瑞灾异之记，推迹行事，连传祸福，著其占验，比类相从，各有条目，凡十一篇，号曰《洪范五行传论》，奏之。天子心知向忠精，故为凤兄弟起此论也，然终不能夺王氏权。
久之，营起昌陵，数年不成，复还归延陵，制度泰奢。向上疏谏曰：“臣闻《易》曰：‘安不忘危，存不忘亡，是以身安而国家可保也。’故贤圣之君，博观终始，穷极事情，而是非分明。王者必通三统，明天命所授者博，非独一姓也。孔子论《诗》，至于‘殷士肤敏，裸将于京’。喟然叹曰：‘大哉天命！善不可不传于子孙，是以富贵无常；不如是，则王公其何以戒慎，民萌何以劝勉！’盖伤微子之事周，而痛殷之亡也。虽有尧、舜之圣，不能化丹朱之子；虽有禹、汤之德，不能训末孙之桀、纣。自古及今，未有不亡之国也。昔高皇帝既灭秦，将都洛阳，感寤刘敬之言，自以德不及周，而贤于秦，遂徙都关中，依周之德，因秦之阻。世之长短，以德为效，故常战栗，不敢讳亡。孔子所谓‘富贵无常’，盖谓此也。
“孝文皇帝居霸陵，北临厕，意凄怆悲怀，顾谓群臣曰：‘嗟乎！以北山石为椁，用纻絮斮陈漆其间，岂可动哉！’张释之进曰：‘使其中有可欲，虽锢南山犹有隙；使其中无可欲，虽无石椁，又何戚焉！’夫死者无终极，而国家有废兴，故释之之言，为无穷计也。孝文寤焉，遂薄葬，不起山坟。“《易》曰：‘古之葬者，厚衣之以薪，臧之中野，不封不树。后世圣人易之以棺椁。’棺椁之作，自黄帝始。黄帝葬于桥山，尧葬济阴⑨，丘垄皆小，葬具甚微。舜葬苍梧，二妃不从。禹葬会稽，不改其列。殷汤无葬处。文、武、周公葬于毕，秦穆公葬于雍橐泉宫祈年馆下，樗里子葬于武库，皆无丘陇之处。此圣帝明王贤君智士远览独虑无穷之计也。其贤臣孝子亦承命顺意而薄葬之，此诚奉安君父，忠孝之至也。