Ia terjun ke politik praktis dengan menjadi anggota DPRD Sumut pada Periode 1999-2004 lewat PDIP. Pada tahun 2004-2009, ia terpilih sebagai anggota DPR RI mewakili PDIP dari wilayah Sumatra Utara I. Di parlemen ia duduk sebagai anggota Komisi II dan tergabung dalam Badan Anggaran DPR RI. Di MPR RI, ia menjadi Sekretaris Fraksi PDI Perjuangan.
Ia juga terpilih sebagai Anggota DPR Periode 2004-2019 dan 2019-2024. Namun ia kemudian ditunjuk Jokowi untuk kembali menjabat sebagai Menteri Kabinet Indonesia Maju.
(Qur'anul Hidayat)