Arifin lahir di Barus, Tapanuli Tengah, Sumatera Utara pada 2 September 1909 sebagai anak tunggal raja Barus, Sultan Ramali bin Sultan Sahi Alam Pohan dengan perempuan bangsawan asal Kotanopan, Mandailing, Siti Baiyah boru Nasution.
Ketika Zainul masih balita kedua orangtuanya bercerai dan ia dibawa pindah oleh ibunya ke Kotanopan, kemudian ke Kerinci, Jambi. Di sana ia menyelesaikan HIS dan sekolah menengah calon guru, Kweekschool. Dalam usia 16 tahun Zainul merantau ke Batavia (Jakarta) dan bekerja di dinas pengairan pemerintah kotapraja (gemeente). Di kota ini ia juga sempat menjadi guru sekolah di daerah-daerah Jatinegara dan Bukit Duri Tanjakan. Selain itu Arifin pernah pula menjalani profesi pokrol bambu, pengacara bumiputra yang tidak memerlukan pendidikan hukum formal.
Tahun 1930-an ia mulai bergabung dengan Gerakan Pemuda Ansor dan beberapa tahun kemudian sudah aktif di organisasi induk NU, sebagai ketua Majelis Konsul NU Jakarta hingga datangnya tentara Jepang. Selama era pendudukan militer Jepang, Zainul Arifin ikut mewakili NU dalam kepengurusan Majelis Syura Muslimin Indonesia (Masyumi) dan terlibat dalam pembentukan pasukan semi militer Hizbullah. Hingga menjelang penyerahan kedaulatan pada 1949 Zainul memimpin pasukan tempur golongan Islam tersebut bergerilya di pelosok-pelosok Jawa Timur dan Jawa Tengah. Ketika Tentara Nasional Indonesia (TNI) akhirnya menyatukan seluruh kekuatan militer Indonesia ia sempat diangkat sebagai sekertaris pucuk pimpinan TNI sebelum akhirnya mengundurkan diri dari dinas ketentaraaan untuk berkonsentrasi di jalur politik sipil.
Sejak proklamasi kemerdekaan Zainul Arifin langsung duduk dalam Badan Pekerja Komite Nasional Indonesia Pusat (BP KNIP), cikal bakal lembaga legislatif MPR/DPR. Hingga akhir hayatnya Arifin aktif di parlemen mewakili partai Masyumi dan kemudian partai NU setelah NU keluar dari Masyumi pada 1952. Hanya selama 1953-1955 ketika menjabat sebagai wakil perdana menteri dalam kabinet Ali-Arifin (Kabinet Ali Sastroamijoyo I) Zainul terlibat dalam badan eksekutif. Kabinet di era Demokrasi Parlementer ini sukses menyelenggarakan Konferensi Asia-Afrika di Bandung pada 1955.
Pemilu pertama 1955 mengantar Zainul Arifin sebagai anggota Majelis Konstituante sekaligus wakil ketua DPR sampai kedua lembaga dibubarkan Sukarno melalui Dekrit Presiden 5 Juli 1959.Memasuki era Demokrasi Terpimpin itu, Arifin bersedia mengetuai DPR Gotong Royong (DPRGR) sebagai upaya partai NU membendung kekuatan Partai Komunis Indonesia (PKI) di parlemen. Ditengah meningkatnya suhu politik, pada 14 Mei 1962, saat salat Idul Adha di barisan terdepan bersama Sukarno, Zainul tertembak peluru yang diarahkan seorang pemberontak dalam percobaannya membunuh presiden. Zainul Arifin akhirnya wafat 2 Maret 1963 setelah menderita luka bekas tembakan dibahunya selama sepuluh bulan.