Anomenats originalment Dallas Texans, la franquícia va ser fundada l'any 1960 per Lamar Hunt, com a membre de l'American Football League. El 1963, l'equip va marxar a Kansas City (Missouri) i van ser reanomenats amb l'actual nom.
Del 1960 fins al 1969, els Kansas City Chiefs van ser un dels equips més exitosos de l'AFL, guanyant el campionat de lliga tres cops (1963, 1966, 1969). Els Chiefs ostenten el rècord de ser el segon equip de l'AFL (després dels New York Jets) que va derrotar un equip de l'NFL en l'AFL-NFL World Championship Game, quan van derrotar els Minnesota Vikings en el que avui coneixem com a Super Bowl IV.
Malgrat l'èxit dels Chiefs a l'AFL, la seva victòria a la Super Bowl IV es manté com l'últim campionat guanyat per la franquícia. Tot i així, l'afició dels Chiefs és considerada de les millors de la lliga, que ha aconseguit penjar el cartell de "complet" a l'Arrowhead Stadium durant 149 partits seguits. L'equip té un rècord de partits a casa de 104-40 des de 1990.
