Ia menempuh pendidikan pertamanya di SD Negeri 002 Sangatta dan lulus pada tahun 1983, kemudian melanjutkan ke SMP Singa Geweh, lulus tahun 1986. Karena saat itu di Sangatta belum ada SMA, maka orangtuanya memutuskan untuk mengirim Mahyudin ke Tanjung Tabalong untuk melanjutkan pendidikan ke SMA Negeri 2 Tanjung dan tinggal dengan kakek-neneknya. Lalu tahun 1989 ia diterima di Fakultas Teknik Universitas Lambung Mangkurat di Banjarmasin.
Ia pertama kali terpilih sebagai Wakil Sekretaris DPC Golongan Karya Sangatta. Bakat, kecerdasan, serta keterampilan komunikasinya dengan segera menjadikannya tokoh muda yang sangat diperhitungkan pada masa itu.
Pasca-reformasi, Mahyudin mulai mencalonkan diri untuk duduk di DPRD Kutai dari Partai Golkar, usaha tersebut belum berhasil. Namun dengan disahkannya pemekaran wilayah Kabupaten Kutai menjadi empat bagian dimana salah satunya adalah Kabupaten Kutai Timur dengan Sangatta sebagai ibukotanya, sebagai caleg yang mendapat suara pada Pemilu 1999 Mahyudin juga mendapat kesempatan untuk duduk di salah satu kursi anggota DPRD Kutai Timur.
Pada tahun 2001, Mahyudin terpilih sebagai Wakil Bupati mendampingi Bupati Awang Faroek Ishak. Selanjutnya menjadi Bupati Kutai Timur tahun 2003 karena Awang Faroek Ishak memilih maju dalam Pemilihan Gubernur Kalimantan Timur. Usianya waktu itu baru 33 tahun dan menjadi bupati termuda se-Indonesia.
Karir politik Mahyudin berlanjut hingga ia didapuk sebagai Ketua DPD Partai Golkar Kaltim, sekaligus berhasil meraih suara terbesar dari seluruh caleg dan seluruh partai Politik di Kaltim untuk duduk sebagai Anggota DPR RI 2009-2014 dari daerah Pemilihan Kalimantan Timur.