Abdul Rahman bin Ya'kub dilahirkan di desa Kampung Jepak, Bintulu, Sarawak pada tanggal 3 Januari 1928. Orang tuanya bernama Wan Ya'kub bin Wan Yusuf, seorang nelayan dann ibunya bernama Siti Hajar binti Haji Mohd. Tahir yang merupakan seorang ibu rumah tangga. Keluarga Abdul Rahman kemudian hijrah dari Bintulu menuju Miri dengan harapan agar anak-anaknya bisa mendapatkan akses pendidikan yang baik[2]. Abdul Rahman pertama kali masuk ke dunia pendidikan dengan bersekolah di Sekolah Melayu Miri dan kemudian bersekolah di Sekolah Anchi. Ayahnya berkeinginan supaya Abdul Rahman diberikan pendidikan Islami, sehingga ayahnya mendaftarkan Rahman ke Sekolah Arab Aljunied pada tahun 1939. Namun keputusan ayahnya ditentang ibunya Abdul Rahman akibat pecahnya Perang Dunia II. Abdul Rahman kemudian dipindahkan ke sekolah St. Joseph di Miri, namun ia gagal menyelesaikan pendidikannya akibat invasi Jepang[5]. Di usia mudanya, Abdul Rahman belajar seni beladiri Jepang, Aikido dan sempat bertemu dengan penemu seni beladiri Aikido, Morihei Ueshiba[butuh rujukan].
Akibat kesulitan keuangan, Abdul Rahman kemudian berhenti sekolah di tahun 1947 dan bekerja sebagai petugas pengecekan minyak di Perusahaan Sarawak Shell dan dibayar sebesar dua ringgit perhari. Tak puas dengan gajinya, Rahman kemudian pergi ke Rumah Sakit Umum Sarawak. Ia bekerja sebagai petugas kebersihan dan merawat pasien dan pada akhirnya memutuskan berhenti kerja di rumah sakit tersebut setelah bekerja seharian. Abdul Rahman kemudian mendaftarkan diri menjadi taruna dan kembali belajar di Madrasah Melayu Kuching. Pada tahun 1948, ia dikirim ke Miri sebagai sebagai taruna dan hakim kelas empat percobaan. Abdul Rahman menetap di Miri sampai 1952, di tahun tersebut ia kemudian di promosikan menjadi hakim kelas satu[6] dan berhasil lolos dengan predikat Sertifikat Tingkat Dua pada ujian Senior Cambridge di tahun berikutnya[2].
Pada usia 26 tahun, Abdul Rahman kemudian belajar ke Universitas Southampton untuk belajar hukum di tahun 1954. Lima tahun kemudian ia lulus dan diangkat menjadi pengacara magang[2]. Abdul Rahman kemudian bekerja Wakil Jaksa Pidana Umum dalam Departemen Hukum Sarawak dari tahun 1959 sampai 1963. Ia juga merupakan bumiputera pertama yang berhasil lulus dan menjadi pengacara setelah lulus dari Lincoln's Inn[7].