Selang beberapa waktu, Belanda melancarkan Agresi Militer II dan menduduki Yogyakarta.
Pemimpin-pemimpin politik berlindung di kraton. Sementara Soedirman beserta sekelompok kecil tentara dan dokter pribadinya melakukan perjalanan ke arah selatan dan memulai perlawanan gerilya dengan ditandu selama tujuh bulan.
Mereka awalnya diikuti pasukan Belanda. Namun, Soedirman dan pasukannya berhasil kabur dan mendirikan markas sementara di Sobo, di dekat Gunung Lawu. Dari tempat ini, ia mampu mengomandoi kegiatan militer di Pulau Jawa, termasuk Serangan Umum 1 Maret 1949 di Yogyakarta, yang dipimpin Letnan Kolonel Soeharto.
Ketika Belanda mulai menarik diri, Soedirman dipanggil kembali ke Yogyakarta pada bulan Juli 1949. Meskipun ingin terus melanjutkan perlawanan terhadap pasukan Belanda, ia dilarang Presiden Soekarno.
Kemudian, penyakit TBC yang diidapnya kambuh. Soedirman pun pensiun dan pindah ke Magelang. Soedirman wafat kurang lebih satu bulan setelah Belanda mengakui kemerdekaan Indonesia. Ia dimakamkan di Taman Makam Pahlawan Semaki, Yogyakarta.
Perlawanan gerilyanya ditetapkan sebagai sarana pengembangan esprit de corps bagi tentara Indonesia, dan rute gerilya sepanjang 100 kilometer (62 mi) yang ditempuhnya harus diikuti oleh taruna Indonesia sebelum lulus dari Akademi Militer.
(Erha Aprili Ramadhoni)