Untuk bisa masuk pendidikan perwira PETA di Bogor, Ahmad Yani harus punya kemampuan mengetik. Saat mengikuti kursus mengetik itulah, Ahmad Yani bersua Yayuk Ruliah Soetodiwirjo yang kelak menjadi istri dari delapan anak-anaknya.
Selesai pendidikan jadi Shodancho (Komandan Peleton), Ahmad Yani ditempatkan di Batalion II Kompi III Prembun, Purworejo. Kesatuan yang pasca-proklamasi 17 Agustus 1945, dipindah jadi Batalion III Badan Keamanan Rakyat (BKR) Magelang dan jadi bagian dari Resimen XIX pimpinan Letkol Sarbini.
Sejumlah pertempuran turut diikuti Ahmad Yani yang kemudian punya pangkat mayor dan memimpin Batalion III Ahmad Yani. Termasuk Pertempuran Ambarawa, hingga Serangan Oemoem 1 Maret 1949.
Ahmad Yani sendiri baru naik pangkat jadi opsir (perwira) Letnan Kolonel pada 1948 pasca-reorganisasi TNI. Kala itu, Letkol Ahmad Yani memimpin Brigade IX Kuda Putih yang daerah-daerah operasinya di Kedu Utara.
Saat dipindah ke Jakarta, Ahmad Yani baru mendapat kenaikan pangkat lagi jadi kolonel saat menjabat Deputi I Kepala Staf Angkatan Darat (KSAD) Bidang Operatif pada 1957. Tiga tahun berselang jadi brigjen dengan jabatan Deputi II KSAD dan kemudian jadi KSAD, lantas jadi Mayor Jenderal pada 1963.
Jabatan Menpangad pada 1967, sudah dipegang Ahmad Yani dengan pangkat letjen. Tapi meski sudah jadi jenderal yang terbilang sukses di Jakarta, Ahmad Yani masih sering mudik dan melepas kangen dengan orangtuanya, sekaligus mengajak liburan istri dan anak-anaknya.