在建文元年七月份的时候，跟着朱棣一起发动了靖难之役，在控制了北平城之后，便迅速参与了攻克蓟州的战争。当时蓟州一带的守将是一个叫作马宣的将领，他在听闻朱棣靖难之后，便火速带着一支部队，前来试图攻占北平，失败后便又返回来了蓟州。
当时朱棣考虑到，蓟州外接宁王朱权的藩地大宁，而大宁又拥有很多精良骑兵是朱棣所眼馋的，所以这就显得蓟州的地理位置十分的重要，他在张玉的劝说下，派了朱能过去征讨，而当时张武也在队伍中。朱能和张武迅速地擒杀了马宣，将蓟州给牢牢控制在自己的手中。
接下来，张武又跟着大部队攻取了雄县、战于月漾桥，乘胜抵达鄚州，在至关重要的真定之战中，张武与其他将领一起协力将敌军主将耿炳文给击败。
时间来到了建文三年二月至三月份，朱棣军与盛庸军在夹河一带，也就是今天河北武邑境内，进行了一番激烈交战。这场战斗打得很是艰难，朱棣军中一个以骁勇善战著称的谭渊，不幸在肉搏战中，战马撅了腿，导致被敌军大将斩杀。
朱棣眼见正面难以攻破，便带着朱能、张武等悍将带着一队骑兵，在暮色的掩护下，直接绕到了盛庸军的屁股后面，对其发动突然袭击，成功将斩杀谭渊的敌军将领庄得杀死。
在接下来的几天时间中，朱棣军和盛庸军继续激烈战斗，直到一天中午，天气突然变化，突然刮起来一阵东北风，吹起了漫天沙尘，盛庸由于处在逆风向的位置，这些沙尘迷住了大批将士的双眼，使得他们战斗了大为降低，阵型为之大乱，一下子就被处于顺风向的朱棣军给冲垮了，取得了这场夹河之战的胜利。
在建文四年的小河之战中，朱棣于四月十四日任命大将陈文筑桥南渡，然而短短一天之后，朝廷军的何福、平安等将便带领人马赶了过来，分两路夺桥，陈文在乱战中直接被斩，此时朱棣叶率军过来迎战，张武也带领一支人马从林间突然冲出来，和朱棣的骑兵汇合，大破南军，成功斩首两万级，大量溺死在河中的朝廷军士兵都根本没有计算在其中。此战过后，张武便被提拔为都督同知。
朱棣当上永乐皇帝之后，将张武封为了成阳侯，年俸禄为一千五百石。当时在诸多功臣之中，能够被封为侯爵的一共有陈珪、郑亨、孟善、火真、顾成、王忠、王聪、徐忠、张信、李远、郭亮、房宽再加上张武这十三人，其中吧在这十三侯爵中，排行第一的就是张武。
张武本人在永乐元年十月份的时候，便草草病死了，由于其没有留下子嗣，其爵位也就直接被废除了。
