Frehley New York Brooklyn városnegyedében született, holland és német származású szülők gyermekeként. 13 évesen karácsonyra elektromos gitárt kapott karácsonyra a szüleitől, ettől kezdve szenvedélyesen, autodidakta módon tanult zenélni. A középiskolában ragadt rá az "Ace" ("Ász") becenév, ami állítólag a lányok körében aratott nagy sikereire utalt.
A középiskola elvégzése után különböző munkakörökben, például taxisofőrként dolgozott. 1972 végén újsághirdetés révén jelentkezett a Kiss zenekarba, melynek ekkor már tagja volt Paul Stanley, Gene Simmons és Peter Criss. 1973 januárjától hivatalosan is a Kiss szólógitárosa lett. Egészen 1982-ig zenélt a bandában. Kiválása után megalakította saját zenekarát Frehley's Comet néven. 1996-ban újra a Kiss tagja lett, ahonnét 2001-ben távozott ismét.