Selama di Batavia saat ayahnya masih dipekerjakan Halfstein, Ahmad Yani bahkan disekolahkan sang menir di sebuah froebel atau taman kanak-kanak (TK). Di Bogor, Ahmad Yani melanjutkan pendidikannya ke Hollandsch-Inlandsche School (HIS), Meer Uitgebreid Lager Onderwijs (MULO), sampai Algemene Middelbare School (AMS).
Keluarga Ahmad Yani akhirnya harus kembali ke Rendeng pada 1942 karena orang-orang Belanda diinternir pasca-Jepang masuk Hindia Belanda. Sementara ayah Ahmad Yani kembali jadi sopir, tapi kali ini jadi sopir angkutan umum jurusan Purworejo-Magelang-Semarang, Ahmad Yani masuk pendidikan Pembela Tanah Air (PETA).
Untuk bisa masuk pendidikan perwira PETA di Bogor, Ahmad Yani harus punya kemampuan mengetik. Saat mengikuti kursus mengetik itulah, Ahmad Yani bersua Yayuk Ruliah Soetodiwirjo yang kelak menjadi istri dari delapan anak-anaknya.
Selesai pendidikan jadi Shodancho (Komandan Peleton), Ahmad Yani ditempatkan di Batalion II Kompi III Prembun, Purworejo. Kesatuan yang pasca-proklamasi 17 Agustus 1945, dipindah jadi Batalion III Badan Keamanan Rakyat (BKR) Magelang dan jadi bagian dari Resimen XIX pimpinan Letkol Sarbini.
Sejumlah pertempuran turut diikuti Ahmad Yani yang kemudian punya pangkat mayor dan memimpin Batalion III Ahmad Yani. Termasuk Pertempuran Ambarawa, hingga Serangan Oemoem 1 Maret 1949.
Ahmad Yani sendiri baru naik pangkat jadi opsir (perwira) Letnan Kolonel pada 1948 pasca-reorganisasi TNI. Kala itu, Letkol Ahmad Yani memimpin Brigade IX Kuda Putih yang daerah-daerah operasinya di Kedu Utara.
Saat dipindah ke Jakarta, Ahmad Yani baru mendapat kenaikan pangkat lagi jadi kolonel saat menjabat Deputi I Kepala Staf Angkatan Darat (KSAD) Bidang Operatif pada 1957. Tiga tahun berselang jadi brigjen dengan jabatan Deputi II KSAD dan kemudian jadi KSAD, lantas jadi Mayor Jenderal pada 1963.