Etter at han ble cand. philol. ved Universitetet i Oslo i 1973, engasjerte Vestfold fylkeskommune ham som forfatter av Vestfolds historie i grevskapstiden 1671-1821. Han tok doktorgrad i 1980. Han var ansatt ved Telemark distriktshøgskole i Bø, som førsteamanuensis i historie fra 1977 til 1992 og som professor 1992-1993. Han var professor ved Universitetet i Oslo 1993-2014. Rian hadde en rekke verv i tilknytning til disse stillingene, blant annet som leder av det nordiske forskningsprosjektet Maktstaten i Norden i det 16. og 17. århundre og instituttleder ved Historisk institutt ved Universitetet i Oslo. Rian var redaktør i Telemark historielags tidsskrift 1981-88 og hovedredaktør i Historisk tidsskrift fra 2005 til 2009.
Som forsker og forfatter har Rian utviklet seg fra å være grundig empiriker med vekt på omfattende dokumentasjon til i økende grad å formulere overordnete tolkninger og oversyn. I denne utviklingen har han beveget seg fra en forsiktig tolkning av dansketidens norske samfunnssystem til en mer kritisk analyse, idet han har lagt større vekt på de negative følgene av tapet av selvstendighet og kirketilhørighet ved utgangen av seinmiddelalderen (1502-1537). Blant annet har han hevdet at nasjonal identitet gjorde seg gjeldende i Norge og andre land i tidlig nytid. Tittelen på festskriftet til ham i 2015 var således: "Den rianske vending". Et viktig trekk ved Rians forfatterskap er hans sterke interesse for aktørene i historie. Flere av hans biografiske artikler finnes i 2. utgave av Norsk biografisk leksikon, bd. 1-10, publisert i årene 1999-2005.
Festskriftet "Den rianske vending" inneholder en oversikt over hans publiserte produksjon til og med 2014 Øystein Rian - Bibliografi av Bente Lavold, side 333-55
Øystein Rian har blant annet skrevet disse bøkene og større artiklene:
1975: Jens Juels stattholderskap 1618-29: en studie i stattholderembetets kompetanse og funksjoner
1997: Den aristokratiske fyrstestaten: 1536-1648 – bind 2 i Danmark-Norge 1380-1814
1998: Historiske perler. Norsk historieskrivning gjennom 800 år.
2000: A Revolution from above? The Power State of 16th and 17th century Scandinavia (Ed. J. Jespersen), pp 13-30, 183-247, 315-42
2000: Synet på dansketiden. Nasjonalistisk eller idylliserende?. I A. Eidsfeldt mfl. (red.): Holmgang: Om førmoderne samfunn. Festskrift til Kåre Lunden
2001: Mellom straff og fortielse. Homoseksualitet i Norge fra vikingtiden til 1930-årene. I M. Brandsæter mfl. (red.): Norsk homoforskning.
2002: Nasjonal identitet i dansketiden. P-2-Akademiet
2003: Embetsstanden i dansketida
2003: Maktens historie i dansketiden
2004: Nytt søkelys på Olav Engelbrektsson, red. av S. Supphellen, s. 7-18, 91-102.
2005: Reformasjonstiden som katastrofe i Norgeshistorien. Tidsskriftet Historie
2007: For Norge, kjempers fødeland: 12 portrett frå dansketida
2008: Henrik Wergeland som historiker. I A.J. Kydland mfl. (red.): Henrik Wergeland: Såmannen
2013: Historie i tvangstrøye. Kongemakt og historieformidling i Danmark-Norge 1536-1814. Historisk tidsskrift
2014: Hvorfor var det ikke nordmennene som forlot Fredrik 6? Historisk tidsskrift
2014: Telemarks historie, bd. 1-3. Redaktør med O. Rovde, N.I. Agøy, E. Schrumpf og I. Skobba. Medforfatter i bind 1.
2014: Sensuren i Danmark-Norge. Vilkårene for offentlige ytringer 1536-1814