Kakbah sendiri dalam kitab suci Alquran dan hadis dinamai dengan beberapa sebutan yaitu Bait (Rumah), Baitulharam (Rumah Suci), Baitullah (Rumah Allah), Bait al Ateeq (Rumah Tua), dan Awal ul Bait (Rumah pertama). Ketika kembali membangunnya, Nabi Adam dan Ismail menggunakan bebatuan dari Bukit Hira, Qubays, dan tempat lainnya.
Di salah satu sisi bangunan ada sebuah batu hitam besar yang dikenal dengan nama Hajar Aswad. Batu ini tersimpan di Bukit Qubays saat masa Nabi Nuh ketika banjir besar melanda. Batu ini sangat istimewa karena diberikan oleh Malaikat Jibril. Umat Islam yang hadir di sana menyempatkan mencium Hajar Aswad karena mencontoh dari Nabi Muhammad Salallahu Alaihi wa Salam.
Usai dibangun, Allah Subhanahu wa Ta’ala memerintahkan Nabi Ibrahim alaihissalam untuk memerintahkan umat berziarah ke Kakbah yang didaulat sebagai Baitullah. Dari sinilah awal mulanya haji, ibadah akbar bagi umat Islam di seluruh dunia. Seperti firman Allah Subhanau wa Ta’ala:
"Sesungguhnya rumah yang mula-mula dibangun untuk (tempat beribadat) manusia, ialah Baitullah di Bakkah (Makkah) yang diberkahi dan menjadi petunjuk bagi semua manusia (QS Ali Imran: 96).