Abdul Rahman juga pernah menjadi Direktur Lembaga Bantuan Hukum (LBH) Jakarta (1981-1984) hingga menjadi Hakim Agung/ Ketua Muda Mahkamah Agung (1999 - 2004).
Puncak kariernya saat SBY menunjuk menjadi Jaksa Agung RI (Oktober 2004 - Mei 2007). Setelah tidak menjadi Jaksa Agung, dia diangkat sebagai Duta Besar Luar Biasa dan Berkuasa Penuh RI untuk Kerajaan Denmark merangkap Lithuania sejak 14 Juni 2008.
(Fahmi Firdaus )