Byen blev grundlagt i 227 f.Kr. som Qart Hadash (punisk: den Nye by) af feltherren Hasdrubal fra Karthago. Romerne erobrede byen i 209 f.Kr. og kaldte den Carthago Nova.
I anden halvdel af det 16. århundrede blev Cartagena under Filip II af Spanien en vigtig havneby og marinestation. Den var blandt andet en base for rejser til de spanske kolonier.
Under den spanske borgerkrig var Cartagena den vigtigste base for den republikanske flåde. Den holdt længere stand mod general Francos tropper end nogen anden spansk by, og den blev først indtaget den 31. marts 1939.
I 1987 blev der opdaget et romersk teater fra det 1. århundrede midt i byen. Det har siden 2008 været tilgængeligt for offentligheden.
Havnen er fortsat vigtig for byen og har bl.a. et skibsværft.