Setelah tak menjabat jaksa agung, Ghalib dipercaya menjadi Wakil Gubernur Sulawesi Selatan hingga 2003. Ia juga pernah menjabat Pj Wali Kota Makassar.
Ghalib kemudian bergabung dengan PPP, menjadi anggota majelis pertimbangan partai. Ia kemudian menjadi anggota DPR RI periode 2004–2009. Namun pada 2007, Ghalib ditunjuk menjadi Duta Besar RI untuk India.
Enam tahun kemudian, ia kembali ke Tanah Air. Ghalib kembali terpilih sebagai anggota DPR RI periode 2014–2019.
Tetapi, takdir berkata lain. Dedikasinya untuk negeri ini harus berakhir. Andi Muhammad Ghalib telah dipanggil Yang Maha Kuasa pada hari ini.
(Salman Mardira)