Garnham juga mengingatkan Pakualam bahwa sifatnya tidak tulus dan tidak berprinsip, meski diakui cukup berpengalaman dalam memimpin. Tetapi saran Garnham ke Raffles ini tak digubris, Raffles yang merupakan atasan Garnham tetap keukeuh menetapkan Pakualam sebagai wali. Raffles beralasan bahwa Pakualam telah berjasa kepada pemerintah tidak hanya atas kesetiaan yang telah ditunjukkannya, pada waktu perang melawan bekas sultan, tetapi juga atas janji - janji yang telah diberikan kepadanya.
Kekhawatiran Garnham terbukti saat Pakualam yang ditunjuk sebagai wali memerintah di keraton Yogya. Pakualam mulai menyalahgunakan kekuasannya untuk membeli tanah - tanah untuk kepentingan sendiri, dan membiayai gaya hidupnya hanya mewah dan boros. Alhasil Pakualam terus menerus menghabiskan keuangan keraton.
Di sisi lain pihak keraton Yogya yang memang menyadari tak mau membiarkan keuangan keraton terus digerogoti oleh Pakualam. Maka sebelum Agustus 1816, ibu suri dibantu patih, mengambil alih semua tugasnya. Hanya cap kerajaan (cap ageng) yang masih di tangannya, sampai ia secara resmi meninggalkan jabatan perwalian itu pada 27 Januari 1820. Pada saat itu Sultan Hamengku Buwono IV telah dianggap dewasa dan berkuasa secara penuh di Keraton Yogya. Tapi dibutuhkan waktu bertahun-tahun untuk menyembuhkan luka akibat warisan yang pahit ini.
Usai sepenuhnya memegang tahta yang dilakukan Sultan Hamengku Buwono IV adalah belajar. Ia belajar banyak hal, bahkan ia pernah diajarkan oleh Pangeran Diponegoro yang datang ke keraton dari Tegalrejo. Sang sultan muda ini diceritakan kisah - kisah kepahlawanan penguasa - penguasa legendaris dari Syam (Suriah) dan Arab.
Bahkan konon Pangeran Diponegoro merekomendasikan teks - teks tertentu untuk dibaca oleh adiknya itu. Beberapa teks di antaranya Serat Ambiya, Taj as-Salatin, Hikayat Makuta Raja (cermin para raja), Serat Menak, Babad Kraton, Arjuna Sasrabahu, Rama Badra, dan Serat Bratayuda, yang terakhir adalah bacaan favorit Pangeran Diponegoro, yang ia minta sebagai bacaan juga kepada anak - anaknya di Makassar.
Dikisahkan pada kesempatan sunatan Sultan Hamengku Buwono IV pada 22 Maret 1815, Diponegoro-lah orang yang menutup mata adiknya yang raja muda itu, dengan tangan ketika ritual operasi berlangsung. Langkah ini dilakukan agar sang sultan lebih mudah memahami ilmu dan buku - buku yang diajarkan oleh sang pangeran.
(Awaludin)