Selepas itu, Yos Sudarso melanjutkan pendidikan di Sekolah Tinggi Pelayaran di Semarang dan akhirnya menjadi lulusan terbaik. Atas prestasinya tersebut ia kemudian dipekerjakan sebagai mualim di kapal Goo Usamu Butai pada tahun 1944, dari situlah karier di dunia pelayarannya dimulai.
Setelah proklamasi kemerdekaan Indonesia, ia bergabung dengan BKR (Badan Keamanan Rakyat) Laut atau yang sekarang dikenal dengan TNI Angkatan Laut. Di lembaga ini, Yos Sudarso sering mengikuti misi atau operasi militer dalam meredam pemberontakan yang terjadi di daerah-daerah saat Belanda datang, dan mengadakan agresi militer sebanyak dua kali.
Saat Belanda mengakui kedaulatan Indonesia pada 1950, Yos Sudarso diangkat sebagai komandan kapal di KRI Alu. Selanjutnya KRI Gajah Mada, KRI Rajawali, hingga KRI Pattimura. Pada tahun 1958 ia menjabat sebagai hakim pengadilan tentara walaupun hanya 4 bulan.
Pada Desember 1961, Presiden Soekarno membentuk Tri Komando Rakyat atau Trikora menyusul memanasnya kawasan Irian Barat yang ingin direbut kembali oleh Belanda. Beberapa minggu berselang atau tepatnya Januari 1962, Presiden Soekarno membentuk Komando Mandala Pembebasan Irian Barat yang berkedudukan di Makassar dan Yos Sudarso sebagai Deputi Operasinya.