Patrick Kelly lahir pada 24 September1954 di Vicksburg, Mississippi.[1] Dia dibesarkan oleh ibundanya Letha Mae Kelly dan ayahandanya Danie S. Kelly, seorang guru ekonomi rumah tangga dan sopir taksi. Dia memiliki dua saudara: Danie Kelly, Jr. dan William M. Kelly. Setelah kematian ayahandanya pada 1969 neneknya membantu membesarkannya. Ketertarikannya pada mode muncul di sekolah menengah, ketika dia belajar menjahit.[2] Setelah lulus SMA pada 1972, ia sempat kuliah di Universitas Jackson State, Mississippi sebelum pindah ke Atlanta, Georgia.[3]