Pengalaman dan kekuatan militer yang diperoleh dari Korps Zion Mule dan Legiun Yahudi, keduanya merupakan bagian dari Angkatan Darat Inggris selama Perang Dunia I, turut memperkuat Yishuv dan menjadi dasar bagi pasukan paramiliter selanjutnya.
Setelah kerusuhan Palestina terhadap Yahudi pada tahun 1920, pemimpin Yishuv menyadari kebutuhan akan organisasi pertahanan bawah tanah berskala nasional, dan Haganah didirikan pada bulan Juni 1920. Haganah berkembang menjadi kekuatan pertahanan penuh skala setelah periode 1936–1939.
Selama Perang Dunia II, Yishuv berpartisipasi dalam upaya perang Inggris, mencapai puncaknya dengan pembentukan Brigade Yahudi. Brigade ini kemudian menjadi tulang punggung Angkatan Pertahanan Israel, memberikan tenaga kerja dan doktrin awal bagi pasukan pertahanan tersebut.
Setelah Deklarasi Kemerdekaan Israel, David Ben-Gurion, yang menjabat sebagai Perdana Menteri dan Menteri Pertahanan, mengeluarkan perintah untuk membentuk Pasukan Pertahanan Israel pada 26 Mei 1948.