Vuonna 1920 Harry Cohn perusti veljensä Jackin ja Joe Brandtin kanssa CBC-tuotantoyhtiön. Yritys tunnettiin alkuaikoina todella pienistä tuotantobudjeteista. Vuonna 1924 he muuttivat CBC:n nimeksi Columbia Picturesin, ja vuonna 1929 Cohnin veljekset ostivat Brandtin ulos yrityksestä. Jatkossa Jack Cohn vastasi myynnistä ja jakelusta, kun Harry tuotti elokuvat.[2]
Harry Cohn valitsi nuoren Frank Capran ohjaamaan vuoden 1928 draamakomedian That Certain Thing. Columbia Picturesin ja Capran yhteistyö jatkui tämän jälkeen hedelmällisenä. Capran ohjaama Tapahtui eräänä yönä (1934) nosti Columbian merkittävimpien elokuvayhtiöiden joukkoon. Samoihin aikoihin Harry taisteli yrityksessä vallasta veljensä kanssa. Harry Cohn nousi lopulta Columbia Picturesin presidentiksi ja tuotantojohtajaksi. Kenelläkään muulla yritysjohtajalla ei ollut aiemmin ollut samaa asemaa.[1]