Im Mai 1891 wanderte er aus Kalabrien nach Chicago aus, wo er im Juni desselben Jahres mit seinem Bruder Antonio ankam. Dieser kehrte jedoch wieder in die italienische Heimat zurück. Bereits früh begann er seinen eigentlichen Namen zu amerikanisieren und arbeitete zu Beginn als Zeitungsjunge, Schuhputzer und Bote für kleinere Gangster. Sein erster Vollzeitjob war als Wasserjunge für die Arbeiter, die die Eisenbahnstrecken verlegten. Ebenso begann er bereits im frühen Alter mit dem Taschendiebstahl und kleineren Erpressungen von lokalen Händlern. Mit 15 wechselte er selbst zum Eisenbahnbau. Er arbeitete in der Streckenverlegung und bei anderen, vergleichbaren Arbeiten. Am 4. April 1896 erlangte er offiziell die Staatsbürgerschaft der Vereinigten Staaten von Amerika.
Am 10. September 1897 stellte der Chicagoer Bürgermeister Carter Harrison, Jr. (Sohn des 1893 ermordeten Bürgermeisters Carter Harrison, Sr.) ein großes Programm vor, mit dem die Straßen Chicagos vom Dreck (besonders verursacht durch Pferde) befreit werden sollten. Die dort beschäftigten Arbeiter wurden wegen ihrer weißen Kleidung von den Bürgern der Stadt white wings (zu deutsch: weiße Flügel) genannt. Jim Colosimo gelang es, einen dieser Jobs zu erhalten und begann seine Arbeit im Ersten Bezirk von Chicago (First Ward). Schnell erlangte Colosimo unter diesen Arbeitern eine Führungsposition und organisierte einen Sozial- und Athletikklub. Die Mitglieder dieses Klubs konnte er so beeinflussen, dass sie bei den Wahlen für den Kandidaten stimmten, den Colosimo favorisierte und vorgab. Durch diese beginnende Machtstellung erlangte er Aufmerksamkeit beim First Ward-Stadtrat John „Bathhouse John“ Coughlin, der ihn in das politische Amt des Assistenz-Wahlkreisleiters beförderte. Im April 1901 wurde er zusätzlich der Inspektor für Straßenangelegenheiten, welcher die Kontrolle der bereinigten Straßen überwachen sollte. Zusätzlich begann er seinen eigenen Besitz auszuweiten, war offiziell um 1900 Restaurantbesitzer und kaufte sich 1902 einen Billardladen.
Colosimos Macht über Chicago
Bereits in den 1890er Jahren begann Colosimo seine ersten illegalen Aktivitäten und schloss sich einer Gruppe von „Blackhandern“ an, die italienische Geschäftsleute terrorisierten. Doch schon bald wechselte er in einen anderen Bereich und wurde Zuhälter von einigen Prostituierten auf der Straße. Eine Auseinandersetzung mit der Polizei sollte ihn auch von diesem Weg abbringen und ihn in den kommerziellen Bereich dieses Gewerbes bringen. Nützlich dabei wurde die Bekanntschaft mit Victoria Moresco.
Am 22. Juli 1902 heiratete Colosimo Victoria Moresco, Besitzerin eines Bordells, und stieg später in den Menschenhandel mit Prostituierten ein (häufig als „Ring weißer Sklaven“ bezeichnet); von ihr lernte er die geschäftliche Seite dieses Gewerbes. Kurz darauf übernahm er selbst das Bordell seiner Frau und eröffnete von den Gewinnen ein zweites, welchem er seiner Frau zu Ehren den Namen Victoria gab. In der Folgezeit erweiterte das Ehepaar seine Tätigkeiten und Colosimo gelang es zusätzlich, seine „Angestellten“ dazu zu bewegen, seine Wahlwünsche zu unterstützen. So fügte sich Colosimo eine weitere große Klientel hinzu (zusätzlich zu vielen italienischstämmigen Bewohnern des First Ward) und genoss immer mehr an Autorität. Dieses Machtpotential wurde auch Coughlin weiter bewusst, der daraufhin Colosimo zum neuen Wahlkreisleiter ernannte. Mit der stetigen Entwicklung seines „Imperiums“ und der steigenden Nachfrage nach neuen Prostituierten begann sich Colosimo mit der weißen Sklaverei zu beschäftigen. So wurde die Verschleppung bzw. Versklavung von Damen über Bundesstaatsgrenzen hinweg in die Städte bezeichnet, die unter Vortäuschung falscher Tatsachen angelockt und dann teilweise zur Prostitution gezwungen wurden. Ein Trick war es, sie in die Verschuldung zu treiben und dann durch diese Arbeit die Tilgung ihrer Schulden zu verlangen.
Ein bekannter Menschenhändler, mit dem sich Colosimo geschäftlich einigte, war Maurice Van Bever, der in den 1900er Jahren Colosimo ständig mit neuen Frauen versorgte. Ebenso hilfreich wurden Colosimo Harry Guzik und dessen Ehefrau Alma, welche regelmäßig kleinere Städte in den umliegenden Bundesstaaten absuchten sowie Emma „French Em“ Guvin.
Auf Grund der hohen Gewinne aus diesen Tätigkeiten wurde er vermutlich um 1909 selbst von „Blackhandern“ erpresst. Da seine Ehefrau Victoria die Tante des Gangsters Johnny Torrio war, bat diese ihn um Unterstützung. Andere Theorien lauten, dass Torrio entweder der Cousin von Victoria Moresco war oder der Neffe von Colosimo selbst (ein schwacher Hinweis dafür wäre, dass Colosimos Schwester sowie Torrios Mutter beide den Vornamen Maria hatten, Historikerin Rose Keefe behauptet jedoch, dass dies bloßer Zufall sein könnte, da dieser Name bei italienischstämmigen Frauen häufig verwendet wird). Andere Quellen behaupten jedoch, dass Colosimo unabhängig von einer Erpressung 1909 Torrio nach Chicago holte und ihn zum Manager seines Saratoga-Bordells machte. Colosimo und Torrio hatten sich bereits bei einem seiner früheren Besuche in Chicago kennengelernt. Torrio, ein Mitglied der Five Points Gang in New York City, vereinbarte ein Treffen mit den Erpressern, die er dann mit Hilfe von zwei weiteren Männern tödlich niederschoss. Laut Polizeiberichten fand jedoch dieser gescheiterte Erpressungsversuch erst im November 1911 statt.
1912 sollte sich als Jahr herausstellen, welches für Colosimo die ersten ernstzunehmenden Probleme in seinem Handwerk darstellen sollte. Bereits seit einigen Jahren gab es verschiedene Reformbewegungen, die es sich als Ziel setzten, die Chicagoer Lasterviertel in der Stadt zu schließen und den Einfluss dieses negativen Images auf Chicago zu eliminieren. Zusätzlich war beabsichtigt, eines der Größten dieser Viertel, das so genannte „The Levee“ im First Ward, zu attackieren. Dieses Viertel, in welchem Colosimo hauptsächlich operierte, stellte das zweite Ärgernis der Reformer dar, welches bekämpft werden sollte. Frühere Versuche, diese abgegrenzten Bezirke anzuprangern, wurden beständig durch die regierenden Machtinhaber untergraben oder nicht beachtet, darunter u. a. auch der Bericht der Chicago Vice Commission. Als Nachfolgeinstitution gegen Colosimos Interessen sollte sich das Committee of Fifteen (zu deutsch: Komitee der Fünfzehn) etablieren, welches bereits 1908 gegründet wurde. Im August begann Bürgermeister Harrison unter Druck des Komitees und der Bevölkerung erste Attacken gegen Etablissements zu starten und ordnete Razzien an.
Eine weitere Person, die maßgeblich am Kampf gegen Colosimo und dessen Partner aus dem lasterhaften Gewerbe beteiligt war, wurde der Staatsanwalt für den Bundesstaat Illinois, John E. Wayman. Dieser wurde von der Law and Order League unter Arthur Burrage Farwell zunehmend unter Druck gesetzt, welche es schaffte, über einen zivilrechtlichen Prozess ein Bordell zu schließen und nun Wayman damit drohte, ihm die Anwaltslizenz zu entziehen, sollte er nicht ernsthaft gegen die schandvollen Bezirke vorgehen. Zusätzliche Motivation für Wayman resultierte dadurch, dass er plante, für 1913 als Gouverneur von Illinois zu kandidieren. Somit begann er sich an der Stimmung der Bevölkerung zu orientieren und näherte sich dem „Komitee der Fünfzehn“ an. Ende September 1912 gab er in einer Stellungnahme bekannt, dass er gegen die abgegrenzten Schandviertel vorgehen würde. Bürgermeister Harrison zog Anfang Oktober direkt nach, da er die Vorteile des politischen Gegners erahnte. Allerdings sollten sich seine Versprechen auf Worte beschränken; in Wirklichkeit betrieb er nur Hinhaltetaktiken, welche offen durchschaubar waren.
Im Oktober 1912 begann nun Wayman offen verschiedene Etablissements mit Razzien anzugreifen und verdächtige Personen zu verhaften. Darunter befanden sich auch Lokalitäten, die im Besitz von James Colosimo waren. Die Anführer des Levees berieten sich häufig in Colosimo's Cafe und entschlossen sich nach den ersten Razzien dazu, eine Art Levee-Komitee der Fünfzehn zu gründen. Zusätzlich starteten sie einen Gegenangriff, bei dem sämtliche Prostituierte, welche unter den Anführern angestellt waren, langsam in den Straßen ausströmten und somit das Image der Stadt mehr bedrohten. Zusätzlich wurde geplant, über einen Gesetzesantrag für den Bundesstaat den Schutz ihrer Bezirke zu erreichen, beide Maßnahmen scheiterten jedoch. Während die polizeilichen Attacken weiter fortgesetzt wurden, kristallisierte sich Ende Oktober jedoch ein weiteres Problem heraus. Die Aktivistin Kate J. Adams sagte bei einer Anhörung vor dem Stadtrat aus und beschrieb detailliert die Aktivitäten und Zusammensetzung der Laster-Organisation, welcher Colosimo vorstand. Zudem konnte sie weitere Mitglieder von Colosimos Gruppe sowie andere beteiligte Größen benennen. Infolgedessen brach der Widerstand von Bürgermeister Harrison und er entzog Ende Oktober den betroffenen Bezirken seine politische Unterstützung und gab bekannt, öffentlich dagegen vorzugehen. Die Konsequenz durch die Bestrebungen Waymans und Harrisons war, dass die verschiedenen Bordelle, Saloons und Glücksspielhallen auf einer diskreteren Ebene weiterarbeiten mussten.
„Big Jims“ Tod
Formal herrschte Colosimo über Chicagos Unterwelt, als Al Capone, ein weiterer Five Pointer, 1919 dort ankam. Aber „Big Jim“ hatte immer mehr Verantwortung an Torrio abgegeben. Während Colosimo mit dem Status quo der Geschäfte offenbar zufrieden war und keine weiteren Risiken eingehen wollte, entwickelte Torrio Ehrgeiz. Torrio erkannte zu dieser Zeit, dass als Folge der Alkoholprohibition ein großangelegter illegaler Handel große Gewinne bringen würde.
Am 20. März 1920 ließ Colosimo sich von Victoria scheiden, um Dale Winter zu heiraten. Diesen Umstand nahm nun Torrio zum Anlass formal seiner Tante beizustehen, informal das Hindernis Colosimo als Oberhaupt aus dem Weg zu räumen. Die Flitterwochen nutzte Torrio aus, um mit Capone den Mord zu organisieren. Beide holten Frankie Yale, ebenfalls ein Five Pointer, aus New York City, da dessen Gesicht in Chicago nicht bekannt war. Dieser erschoss dann Colosimo am 11. Mai 1920.