Pada masa pemerintahan Jepang, bebatuan yang menutupi relief Karmawibhangga juga sempat dibuka dan dibongkar. Tapi 4 panel relief di sisi tenggara tidak ditutup kembali untuk menunjukkan bahwa di kaki candi terdapat relief.
Relief Karmawibhangga, memunculkan pendapat di masyarakat. Disebut relief ini dianggap terlalu vulgar karena enampilkan beberapa perbuatan buruk manusia.
Kemudian karena faktor konstruksi bangunan bebatuan yang menutup relief berfungsi untuk menopang bangunan candi agar tetap kokoh.
"Memang ada dua hipotesa, yang pertama karena ksalahan struktur, yang kedua konsep keagamaan dan relief. Namun lebih kuat kepada kesalahan struktur, karena ada relief yang belum selesai, kemudian ditutup struktur balok batu selasar candi," tandasnya.
(Fakhrizal Fakhri )