Karier kemiliteran dan politik Ghalib terbilang mentereng. Ia pernah menjabat sebagai Atase Pertahanan RI di Singapura, Asisten Pribadi Jenderal LB Moerdani, dan Oditur Militer ABRI.
Baca: Andi Muhammad Ghalib Meninggal Dunia)
Namanya kian melambung saat Presiden BJ Habibie menunjuknya sebagai Jaksa Agung RI pada 1998–1999. Suhu politik Indonesia kala itu sangat tegang, tuntutan reformasi berembus kencang setelah runtuhnya rezim Orde Baru yang berkalang korupsi, kolusi, dan nepotisme (KKN).
Ghalib pun mulai mengusut kebobrokan Orba, termasuk KKN yang melibatkan mantan Presiden Soeharto. Ini langkah berani, mengingat Soeharto adalah pemimpin “bertangan besi”. Namun, pengusutan itu terhenti dengan alasan minim bukti.
Di tengah upaya mengusut sejumlah kasus dugaan korupsi, Ghalib diterpa isu suap meski belakangan menyangkal keras. Kariernya sebagai jaksa ikut terhenti.