Pada 12 November 1926, pemberontakan meletus di Jawa, dan Januari 1927 di Sumatera Barat. Dalam tempo yang sangat singkat, pemberontakan ditumpas dan PKI dijadikan partai terlarang. Setelah pemberontakan yang gagal itu, pergerakan kemerdekaan bergerak di bawah tanah. Sementara Musso dan Alimin berhasil bertemu Stalin. Namun, sikap Stalin dan Tan Malaka sama. Mereka sama-sama menolak pemberontakan, karena mentahnya persiapan yang dilakukan pihak komunis.
Sebagai ganjaran, Musso "ditahan" oleh Moskow untuk mengikuti pendidikan Marxisme-Leninisme, dan dididik menjadi agen komunis Internasional. Sementara Alimin mengembara sebagai agen komintern. Berkat didikan keras Moskow, Musso menjadi pemimpin komunis yang handal. Pada tahun 1935, Musso kembali ke Indonesia dan menghidupkan kembali PKI bawah tanah untuk memimpin perjuangan antifasis selama pendudukan Jepang, dia kembali menghilang.
Hingga akhirnya, datang kembali ke Indonesia bersama Kepala Perwakilan RI di Praha Soeripno atas nama Soeparto, pada 11 Agustus 1948. Saat itu, Musso membawa garis baru partai yang dia namakan sebagai "Jalan Baru" untuk Republik Indonesia. Kebijakannya itu berisi tentang apa yang harus dilakukan kaum komunis, dan kritik tajam atas kesalahan-kesalahan PKI selama berdirinya gerakan antifasis Jepang tahun 1935.
Kedatangan Musso, bagi kaum komunis saat itu disambut hangat oleh partai yang langsung mengikuti kebijakan "jalan baru" itu. Partai-partai berhaluan Marxisme-Leninisme yang ada saat itu berfusi di bawah satu komando PKI. Segera, PKI melakukan kampanye ke daerah-daerah yang menjadi basis komunis.
Saat melakukan kampanye itulah, peristiwa Madiun meletus sebagai akibat dari konflik bersenjata yang terjadi di Solo dan Madiun. Saat itu, Musso bersama Amir Sjarifuddin dan Setiadjid, sedang berada di Purwodadi. Ketika itu, Musso masih mengharapkan oposisi lewat jalan parlementer. Namun begitu, Musso menyetujui keputusan sepihak tokoh Pemuda Sosialis Indonesia (Pesindo) Sumarsono yang mengambil alih kekuasaan sipil di Madiun dan mendirikan Republik Demokrasi Rakyat Indonesia, di corong Radio Gelora Pemuda, pada 18 September 1948.