Pitung kecil pun harus bekerja sebagai pengembala kambing milik kakeknya setelah tinggal bersama ibunya. Itu ia lakukan untuk membantu perekonomian keluarga.
Hingga Pitung mendapatkan kepercayaan dari sang kakek untuk menjual kambingnya di Pasar Kebayoran. Saat itu, usia Pitung sekira 14 tahun.
Nahas sekembalinya dari pasar usai menjual kambing, Pitung dirampok. Ia pun tak berani pulang ke rumah karena takut dimarahi sang kakek dan ibunya.
Pitung pun berkelana. Hingga dirinya sampai ke sebuah kampung yang bernama Kemayoran (Jakarta Pusat). Ia berkelana unruk menempa diri.