于此，我们应该注意一个和杜甫生活最有关系的人——就是严武。严武是开元名相姚崇门下士挺之之子。八岁时尝手刃父妾。安禄山之乱，从玄宗入蜀，至德初，赴肃宗行在，房琯以其名臣之子荐为给事中。及收京，为京兆尹，坐琯事贬巴州刺史。久之，迁东川节度使。及剑南合为一道，以成都尹擢为剑南节度使。杜甫出为华州司功，武同时亦贬巴州。而甫居成都之时，亦适武持节剑南之日。
杜甫为武父挺之之故人，与武并被认为房琯之党。当其同客成都，常互有酬答，武亦尝访甫于草堂。一个是飘泊流寓的贫寒诗人，一个是雄镇一方的持节大吏。今得客地相依，非不是一种安慰。但不久，武被召还京，甫直送他到离绵州（四川绵阳）三十里的奉济驿。我们读他的“江村独归处，寂寞养残生”之句，那一种黯然惜别的情绪，直传入读者的心灵。
未几，剑南兵马使徐知道反，以兵守要害拒严武，武至九月尚不得出巴。其时，杜甫因避难入梓州（四川三台），冬复至成都迎家入梓。十一月，往射洪之南的通泉。次年（广德元年）春，他由梓州赴汉州（广汉），秋往阆州（阆中），冬末复回梓州。他这样辗转飘泊了两年，而念念不忘的，只是一个成都草堂。因为他居成都虽不久，而那草堂是他亲手一草一木经营起来的，所以不啻是第二故乡了。是年十月，吐蕃入寇，代宗出奔陕州，长安遂陷。他闻信之下，当然又有一番愤慨——我们看“西京疲百战，北阙任群凶；关塞三千里，烟花一万重”之句就可知了。是岁补京兆功曹，不赴。
次年（广德二年）春，复由梓州移家往阆州，会严武再镇剑南，遂于春末携家由阆返成都。他此次复归草堂的情景是：
“旧犬喜我归，低徊入衣裾。邻里喜我归，沽酒携胡芦。大官喜我来，遣骑问所须。城郭喜我来，宾客隘村墟。”
诗中洋溢着当时那种高兴的心情。
六月，入严武幕，武表为节度参谋检校、工部员外郎，赐鲱鱼袋。但杜甫的境况，并不因此改善，我们读《王录事许修草堂赀不到：聊小诘》一绝句便是证据。
而且他此次与严武相处，和前次的情形不同：因为前次两人只有故旧的关系，所以惟有诗酒相酬，情谊因而单纯深笃。此次却已变成了长官和僚属的关系，形迹上当然就不免有些障隔。加以“武在蜀放肆……慢倨不为礼”，甫亦“或时不巾，而性褊躁傲诞”。我们虽不必相信史家所说严武性情如何暴急，尝欲杀甫，其母奔救得止之事。但可推想两人俱负才气，各不相下，是有的。所以杜甫对于严武虽说愿意“束缚酬知己，蹉跎效小忠”，却总以为“白头趋幕府，深觉负平生”；加以他看出同僚中对他妒忌，不免有“当面输心背面笑”的态度，故不过七个月的相处，他更决然地辞幕而归了。但他对于严武的友谊并未因此减损：他仍愿跟他“把酒……深酌，题诗……细论”，而不幸的是严武不久即逝世，这当然又是给他的一个非常重的打击。
严武逝世的次月，他就离草堂南下，本意欲往荆楚，先至戎州（四川宜宾），旋至渝州（重庆），六月至忠州（忠县）。于此，始闻高适的死耗，又于此，哭严武的归榇。此时房琯已先卒，房和高适、严武，都是杜甫生平最为知遇之人，今两人亦相继亡去，单剩我们这位五十四岁的诗人，当然不免要起孤零之感了。
同年秋，他从渝州至云安（云阳）居之。是时当严武死后，蜀中坐镇乏人，因复陷于纷乱的状态。
“前年渝州杀刺史，今年开州杀刺史。群盗相随剧虎狼，食人更肯留妻子？”
乃是当时的实况。他因而觉得云安亦非久居之地，便于次年（大历元年）春间东下夔州（奉节）居之。夔州是历史上著名的地方，有后汉公孙述的白帝城，三国诸葛亮的八阵图等遗迹。他于此慷慨怀古，所作颇富。例如《秋兴八首》《诸将五首》《咏怀古迹五首》（后二题本编未选），都是此期的重要作品。黄山谷谓“少陵夔州以后诗，不烦绳削而自合”，盖言其诗至老而更成熟也。
他在夔州不过二年，而迁居凡四次：大历元年秋，寓居西阁；次年（大历二年）春，迁赤甲；三月，迁瀼西，秋迁东屯；未几，复自东屯归瀼西。在这样搬迁移徙的当中，他却颇享受些田园生活的乐趣。他彼时的环境是——
“仲夏流多水，清晨向小园。碧溪摇艇阔，朱果烂枝繁。始为江山静，终防市井喧。畦蔬绕茅屋，自足媚盘餐。”
他彼时的工作是——
“长夏无所为，客居课奴仆。清晨饭其腹，持斧入白谷。”