Kelly ble født James Milton Kelly og vokste opp i småbyen Paris i Kentucky. Han var svært aktiv innen sport og var innom idretter som basketball, amerikansk fotball og friidrett før han satset på kampsport. I 1975 ble han profesjonell tennisspiller og arbeidet etter filmkarrieren som tennistrener. Han eide også en tennisklubb.[4]