La squadra venne fondata il 23 ottobre 2004 a Palembang, e deve il suo nome all'antico regno di Srivijaya. Solo tre anni dopo si aggiudicò il suo primo torneo, la coppa d'Indonesia, battendo in finale il Persipura. Il Sriwijaya si aggiudicò anche le due successive edizioni della coppa, nel 2009 e 2010 (l'edizione 2008 non si svolse).
Nel 2009 il Sriwijaya partecipa, come vincitore della coppa, alla fase a gironi della AFC Champions League 2009, in cui vince un solo incontro contro i cinesi dello Shandong Taishan.
Come campione in carica della coppa nazionale, fallisce l'accesso alla AFC Champions League 2010 perdendo la gara preliminare contro i singaporiani del Singapore A.F. Retrocesso nella Coppa dell'AFC 2010, dopo aver vinto il proprio girone, raggiunge gli ottavi di finale del torneo, venendo eliminato dai tailandesi del Port.
Anche nella AFC Champions League 2011 fallisce l'accesso alla fase a gironi del massimo torneo continentale asiatico, che dopo aver sconfitto i tailandesi del Muangthong Utd, vennero eliminati dagli emiratini del Al-Ain. Retrocesso in Coppa dell'AFC 2011, supera la fase a gironi, venendo poi eliminato agli ottavi dai tailandesi del Chonburi.
