Menurut Proyek Making Britain dari Open University, Rumah Ayah "diperkirakan berdiri pada 1825 di Aldgate" oleh seorang perempuan bernama Elizabeth Rogers.
Setelah kematiannya (tidak jelas pada tahun berapa), rumah ini dikelola oleh pasangan suami-istri yang mengiklankan bangunan ini sebagai rumah singgah untuk para ayah dalam perjalanan.
Mereka mengelola rumah ini seperti agen karyawan, dan keluarga-keluarga dapat menghubungi mereka untuk mendapatkan pengasuh.
Pada paruh kedua abad ke-19, saat Kerajaan Inggris semakin kuat, perjalanan antara Inggris ke India menjadi semakin umum - dan jumlah pengasuh yang datang ke Inggris juga semakin meningkat.
"Setiap tahun, hingga 200 ayah tinggal di Rumah Ayah. Beberapa menginap selama beberapa hari, sementara beberapa lainnya tinggal sampai beberapa bulan," ujar Visram.
Visram mengatakan para ayah ini tidak harus membayar sepeserpun untuk biaya akomodasi. Rumah ini menerima donasi dari gereja-gereja lokal.
Ada pula yang sudah punya tiket pulang namun tidak bisa kembali ke negaranya karena kekurangan dana atau pendamping - dalam kasus ini, pengelola Rumah Ayah menjual tiket tersebut kepada keluarga lain yang membutuhkan pelayan untuk menemani perjalanan ke India. Ini juga cara lain untuk mencari dana.