創建冀魯豫邊區抗日根據地
1939年冬，中央軍委電示楊得志：冀魯豫邊區戰略地位極為重要，要堅持邊區抗日遊擊戰爭，建立邊區抗日根據地。冀魯豫邊區所轄的直南、豫北、魯西南等地區，處於平漢、隴海兩條鐵路幹線的交會處，雖然地區不大且狹長，卻是華北與華中抗日根據地的連接樞紐，也是太行與魯中兩大山嶽地帶抗日根據地的連接樞紐，戰略地位十分重要，不論是日軍還是頑軍，都志在必得。在此創建根據地，面臨着複雜而殘酷的鬥爭。
1940年春，楊得志奉命率部向頑軍丁樹本等部發動大規模討伐。楊得志制定了一個討伐方案：用“聯合”的名義，派部隊到與丁樹本有&&的縣駐防，待機行動，各個擊破。一切準備好後，楊得志便和丁樹本“攤牌”，揭露他依靠日寇，妄圖擠走、擠垮八路軍的反動計劃。丁樹本拒不認賬，楊得志便指揮部隊從各地同時發起進攻，打得丁樹本措手不及。丁樹本的2萬多人及地方頑軍大部分被殲滅，他只得攜殘部逃往豫西。
2月初，石友三部投靠日軍，向北反撲冀魯豫邊區的濮陽。楊得志指揮支隊對石部發起討逆戰役，5次戰鬥殲敵2500餘人，俘敵800餘人，繳獲槍支800余支，給石部以沉重打擊。
隨着反頑擊叛鬥爭的勝利，直南、豫北、魯西南黨組織廣泛發動群眾，初步實行民主、改善民生，建立抗日民主政權，並在此基礎上，於4月17日成立了冀南六縣專員公署，4月30日建立了冀魯豫區黨委。
4月23日，黃克誠率領新組建的八路軍第二縱隊主力由太行來到冀魯豫邊區，與冀魯豫支隊統一整編，楊得志任第二縱隊司令員。同時，成立了冀魯豫軍區。至此，包括直南、豫北、魯西南地區的冀魯豫邊區抗日根據地初步形成。
6月，日軍1萬多人“掃蕩”冀魯豫邊區。楊得志指揮部隊打了整整13天，殲滅敵人大批有生力量。不久，黃克誠奉命率第二縱隊和由原冀魯豫支隊改編的新二旅到華東加入新四軍，冀魯豫的部隊只剩下3個團。由於日寇接連不斷的大“掃蕩”，各分區的部隊都在獨立作戰，軍區能掌握的地方武裝很少，要戰勝多於八路軍幾十倍的敵人，困難很大。這時，中央軍委來電，徵求楊得志等人的意見，是繼續留在原地堅持鬥爭，還是去蘇北地區發展根據地。楊得志知道，這是中央體諒他們的困難，但他更知道，開闢冀魯豫邊區這塊根據地確實不容易，他不能離開這片灑着烈士鮮血、埋着烈士忠骨的土地。楊得志等向中央發電，決心同冀魯豫人民一起堅持抗日鬥爭。
黃克誠離開以後，楊得志任新組建的第二縱隊司令員兼冀魯豫軍區司令員。1941年3月，敵人在華北推行第一次治安強化運動。4月12日，日軍1萬餘人、偽軍1萬餘人對濮陽、內黃、滑縣交界處的沙區進行“鐵壁合圍”。楊得志率領縱隊機關和主力一部突出重圍，跳到魯西觀城縣。然後，奔襲敵人後方清豐縣城及周圍據點。這一行動，打破了敵人的部署，縮短了敵人原定的“掃蕩”時間。這一次大“掃蕩”之後，冀魯豫邊區敵情更為嚴重，周邊地區駐有敵人重兵，根據地有日偽軍7萬多人，第二縱隊的迴旋餘地越來越小，鬥爭形勢更為嚴峻。7月中旬，為了統一冀魯豫平原抗日鬥爭力量，中共北方局、八路軍總部決定，冀魯豫邊區和魯西區合併為新的冀魯豫邊區，楊得志任第二縱隊司令員、區黨委委員。兩區剛一合併，楊得志和政委蘇振華就主持召開了邊區軍隊高級幹部會議，研究嚴峻形勢下的軍事鬥爭問題。
1942年秋，日寇對冀魯豫地區又開始了“鐵壁合圍”式的大“掃蕩”。9月25日，日軍分別在山東省聊城、莘縣、鄆城、巨野、濟寧及河南省濮陽等地集結兵力，於26日夜間，秘密向冀魯豫軍區中心區合攏，27日拂曉到達預定位置，形成了以河南省范縣單堂村為中心半徑約30公里的包圍圈。楊得志緊急指揮軍區領導機關向外線轉移，於當日下午越過黃河故道到達南華地區。接着，部隊經過18天的浴血奮戰，打破了敵人的“鐵壁合圍”。
