Pada awal dibangun, Benteng Vredeburg jauh dari kesan kokoh. Temboknya dari tanah dengan tiang penyangga dari kayu pohon kelapa dan kayu aren. Untuk atap digunakan rumput ilalang yang disusun rapi.
Benteng tersebut dikelilingi parit yang berfungsi untuk mengantisipasi serangan. Setiap empat sudut dari posisi benteng terdapat menara-menara pengawas yang dinamakan bastion (benteng pertahanan).
Uniknya, setiap menara mempunyai nama masing-masing yakni; Jaya Purusa, Jaya Prayitna, Jaya Wisesa, dan Jaya Prakosaningprang. Keempat nama tersebut berasal dari Sang Sultan sendiri.
Bergantinya gubernur Belanda, berganti pula kebijakannya. Belanda minta benteng yang lama direnovasi dalam bentuk permanen. Maka ditunjuklah seorang ahli bangunan dari Belanda bernama Ir. Frans Haak. Pembangunan benteng berlangsung dari tahun 1767 hingga akhirnya selesai pada tahun 1787.
Hampir 100 tahun kemudian, tepatnya pada tahun 1867 terjadi gempa bumi besar yang melanda Jogja dan Jawa Tengah. Belanda pun melakukan pemugaran terhadap bangunan Benteng Rustenburg yang rusak terdampak oleh gempa. Begitu renovasi selesai pada tahun 1867 inilah nama bangunan berubah dari Benteng Rustenburg menjadi Benteng Vredeburg yang berarti Benteng Perdamaian. Nama ini merupakan perwujudan hubungan damai antara pemerintah Belanda dengan pihak Keraton Yogya.