Ihren ersten Liveauftritt hatte die Band am 18. März 2004.[1] Kurz darauf veröffentlichten sie die Demo The Sword. Es folgten weitere Konzerte u. a. auf Festivals. Mitte 2005 wurde die Band von dem New Yorker Plattenlabel Kemado Records unter Vertrag genommen, das im Februar 2006 ihr erstes Album Age of Winters veröffentlichte.[2] Das Material dazu stammte fast ausschließlich von John D. Cronise und entstand noch vor der Gründung von The Sword. In den Jahren 2006 und 2007 folgen Touren mit u. a. Trivium, Kylesa, In Flames und Nebula durch Amerika und Europa. Mit Lamb of God spielten sie außerdem drei Shows in Japan.[3] Zudem veröffentlichten sie im September 2007 die Single Freya aus ihrem Debütalbum und später im November desselben Jahres eine Split-EP mit der schwedischen Doom-Metal-Band Witchcraft.[2]
Mit ihrem im April 2008 veröffentlichten Album Gods of the Earth gelang ihnen erstmals der Einstieg in die US-Charts.[4]
Einem größeren Publikum in Europa wurden The Sword bekannt, als sie Ende 2008 auf mehreren Konzerten der World Magnetic Tour von Metallica im Vorprogramm auftraten.
Im August 2010 veröffentlichten The Sword als ihr drittes Album ein Science-Fiction-KonzeptalbumWarp Riders.[2][5] Inhaltlich handelt das Album von dem Protagonisten Ereth von dem Planeten Acheron. Warp Riders ist das erste Album auf dem ein externer Produzent, Matt Bayles, mitwirkte. Mit diesem Album konnten sie sich noch besser in den US-Charts platzieren als mit ihrem Vorgängeralbum.[4]
Im September 2010 tourten sie mit Metallica und Fear Factory durch Australien, Neuseeland und Japan.[6]
Am 11. Oktober 2010 gab die Band auf ihrer Website bekannt, dass ihr Schlagzeuger Trivett Wingo aus der Band ausgetreten ist. Wingo begründete dies damit, dass er physisch und emotional nicht in der Lage sei weiter ein Teil von The Sword zu sein.[7] Daraufhin wurde Kevin Fender als Liveunterstützung für ihre, aufgrund Wingos Austritts verschobene, U.S. Tour verpflichtet. Kevin Fender spielte vorher in der Hardcore-Band Employer, Employee.[8]
Am 20. Oktober 2022 gab J.D. Cronise via social Media die Auflösung der Band bekannt.[9]
