武既至海上，廪食不至，掘野鼠去草实而食之。杖汉节牧羊，卧起操持，节旄尽落。积五六年，单于弟於靬王弋射海上。武能网纺缴，檠弓弩；於靬王爱之，给其衣食。三岁余，王病，赐武马畜服匿穹庐。王死后，人众徙去。其冬，丁令盗武牛羊，武复穷厄。
初，武与李陵俱为侍中，武使匈奴明年，陵降，不敢求武。久之，单于使陵至海上，为武置酒设乐，因谓武曰：“单于闻陵与子卿素厚，故使陵来说足下，虚心欲相待。终不得归汉，空自苦亡人之地，信义安所见乎？前长君为奉车，从至雍棫阳宫，扶辇下除，触柱折辕，劾大不敬，伏剑自刎，赐钱二百万以葬。孺卿从祠河东后土，宦骑与黄门驸马争船，推堕驸马河中溺死，宦骑亡，诏使孺卿逐捕不得，惶恐饮药而死。来时，大夫人已不幸，陵送葬至阳陵。子卿妇年少，闻已更嫁矣。独有女弟二人，两女一男；今复十余年，存亡不可知。人生如朝露，何久自苦如此？陵始降时，忽忽如狂，自痛负汉，加以老母系保宫，子卿不欲降，何以过陵？且陛下春秋高，法令亡常，大臣亡罪夷灭者数十家，安危不可知，子卿尚复谁为乎？愿听陵计，勿复有云！”武曰：“武父子亡功德，皆为陛下所成就，位列将，爵通侯，兄弟亲近，常愿肝脑涂地。今得杀身自效，虽蒙斧钺汤镬，诚甘乐之！臣事君，犹子事父也。子为父死亡所恨。愿勿复再言！”陵与武饮数日，复曰：“子卿壹听陵言。”武曰：“自分已死久矣！王必欲降武，请毕今日之欢，效死于前！”陵见其至诚，喟然叹曰：“嗟乎，义士！陵与卫律之罪上通于天！”因泣下沾衿，与武决去。陵恶自赐武，使其妻赐武牛羊数十头。
后陵复至北海上，语武：“区脱捕得云中生口，言太守以下吏民皆白服，曰上崩。”武闻之，南乡号哭，欧血，旦夕临。
数月，昭帝即位。数年，匈奴与汉和亲。汉求武等，匈奴诡言武死。后汉使复至匈奴，常惠请其守者与俱，得夜见汉使，具自陈道。教使者谓单于，言天子射上林中，得雁，足有系帛书，言武等在某泽中。使者大喜，如惠语以让单于。单于视左右而惊，谢汉使曰：“武等实在。”
于是李陵置酒贺武曰：“今足下还归，扬名于匈奴，功显于汉室，虽古竹帛所载，丹青所画，何以过子卿！陵虽驽怯，令汉且贳陵罪，全其老母，使得奋大辱之积志，庶几乎曹柯之盟，此陵宿昔之所不忘也。收族陵家，为世大戮，陵尚复何顾乎？已矣！令子卿知吾心耳。异域之人，壹别长绝！”陵起舞，歌曰：“径万里兮度沙幕，为君将兮奋匈奴。路穷绝兮矢刃摧，士众灭兮名已。老母已死，虽欲报恩将安归！”陵泣下数行，因与武决。
单于召会武官属，前以降及物故，凡随武还者九人。武以始元六年春至京师。诏武奉一太牢谒武帝园庙；拜为典属国，秩中二千石；赐钱二百万，公田二顷，宅一区。常惠、徐圣、赵终根皆拜为中郎，赐帛各二百匹。其余六人，老归家，赐钱人十万，复终身。常惠后至右将军，封列侯，自有传。武留匈奴凡十九岁，始以强壮出，及还，须发尽白。
武来归明年，上官桀子安与桑弘羊及燕王、盖主谋反。武子男元与安有谋，坐死。初，桀、安与大将军霍光争权，数疏光过失予燕王，令上书告之。又言苏武使匈奴二十年不降，还乃为典属国，大将军长史无功劳，为搜粟都尉；光专权自恣。及燕王等反诛，穷治党与，武素与桀、弘羊有旧，数为燕王所讼，子又在谋中，廷尉奏请逮捕武。霍光寝其奏，免武官。
数年，昭帝崩，武以故二千石与计谋立宣帝，赐爵关内侯，食邑三百户。久之，卫将军张安世荐武明习故事，奉使不辱命，先帝以为遗言。宣帝即时召武待诏宦者署，数进见，复为右曹典属国。以武著节老臣，令朝朔望，号称祭酒，甚优宠之。武所得赏赐，尽以施予昆弟故人，家不余财。皇后父平恩侯、帝舅平昌侯、乐昌侯、车骑将军韩增、丞相魏相、御史大夫丙吉皆敬重武。
武年老，子前坐事死，上闵之，问左右：“武在匈奴久，岂有子乎？”武因平恩侯自白：“前发匈奴时，胡妇适产一子通国，有声问来，愿因使者致金帛赎之。”上许焉。后通国随使者至，上以为郎。又以武弟子为右曹。武年八十余，神爵二年病卒。
甘露三年，单于始入朝。上思股肱之美，乃图画其人于麒麟阁，法其形貌，署其官爵姓名，唯霍光不名，曰大司马大将军博陆侯姓霍氏，次曰卫将军富平侯张安世，次曰车骑将军龙额侯韩增，次曰后将军营平侯赵充国，次曰丞相高平侯魏相，次曰丞相博阳侯丙吉，次曰御史大夫建平侯杜延年，次曰宗正阳城侯刘德，次曰少府梁丘贺，次曰太子太傅萧望之，次曰典属国苏武。皆有功德，知名当世，是以表而扬之，明著中兴辅佐，列于方叔、召虎、仲山甫焉。凡十一人，皆有传。自丞相黄霸、廷尉于定国、大司农朱邑、京兆尹张敞、右扶风尹翁归及儒者夏侯胜等，皆以善终，著名宣帝之世，然不得列于名臣之图，以此知其选矣。