Selama Perang Kemerdekaan, ia menorehkan berbagai prestasi. Ia berhasil merampas senjata Jepang di Magelang. Ketika Tentara Keamanan Rakyat (TKR) dibentuk, Ahmad Yani ditunjuk sebagai komandan TKR Purwokerto.
Ketika Agresi Militer Belanda pertama terjadi, pasukannya yang beroperasi di wilayah Pingit mampu menahan serangan Belanda di wilayah tersebut.
Oleh karena itu, ketika Agresi Militer Belanda kedua terjadi, ia diberi jabatan sebagai komandan Wehrkreise II, yang meliputi wilayah pertahanan Kedu.
(Fahmi Firdaus )