Orang tua Albrecht adalah Adipati Wilhelm IV dan Maria dari Baden-Sponheim. Pada tahun 1546 ia menikahi Anna, putri Ferdinand I, Kaisar Romawi Suci. Albrecht adalah penguasa Bayern pertama yang menerapkan primogenitur yang diterbitkan pada tahun 1506[1]. Kedua saudara laki-lakinya telah meninggal pada saat itu. Kadipaten Bayern di Oberbayern dan Niederbayern adalah wilayah kekuasaannya, yang tidak boleh disamakan dengan distrik administratif dengan nama yang sama yang ada saat ini.
Albrecht dibesarkan dalam keluarga Katolik dan berada di bawah pengaruh para Yesuit, yang dibawa ayahandanya ke negara itu dan yang mengajar di fakultas teologi di Ingolstadt sejak 1549. Universitas Ingolstadt diserahkan sepenuhnya kepada mereka selama pemerintahan Albrecht. Lutheranisme tidak diperlakukan dengan baik di wilayah kekuasaan Albrecht. Namun pada tahun 1550 ia memanggil Pankraz dari Freyberg ke istananya, Pankraz condong ke Protestanisme dan kemudian mampu merebut konsesi kebebasan beragama dari sang adipati. Pada awal pemerintahannya, Albrecht masih mengkhawatirkan kompensasi; contohnya pada tahun 1551/52, Albrecht mempertahankan kenetralannya selama pemberontakan pangeran melawan Karl V. Pada tahun 1553 ia bergabung dengan Liga Heidelberg, yang terdiri dari pangeran Protestan dan Katolik. Perdamaian Augsburg tahun 1555 menyerahkannya kepada penguasa untuk menentukan agama rakyatnya.
Adipati Albrecht berupaya keras untuk pemilihan putranya Ernst dari Bayern, sebagai Uskup Agung-ElektorKöln. Upaya ini tidak akan membuahkan hasil sampai setelah kematian Albrecht, akan tetapi seorang anggota Wangsa Wittelsbach di Bayern akan menjadi Uskup Agung Köln selama hampir dua abad setelahnya.
^Reinhold Baumstark: Albrecht V. In: Alois Schmid und Katharina Weigand (Hrsg.): Die Herrscher Bayerns. 25 historische Portraits von Tassilo III. bis Ludwig III. Beck, München 2001, ISBN 3-406-48230-9, S. 175
Hofkleiderbuch (Abbildung und Beschreibung der Hof-Livreen) des Herzogs Wilhelm IV. und Albrecht V. 1508–1551. (Court and Coat of Arms Book of Bavarian Dukes: William IV and Albert V) at the Bavarian State Library