L'arciducato fu preceduto dalla Marca Orientale, che fu elevata a ducato dall'imperatore Federico Barbarossa nel 1156. Il ducato passò quindi alla Casa d'Asburgo nel 1282. Nel 1453 il duca Federico V, eletto imperatore, si tramutò il suo ducato in arciducato: da quel momento, tutti gli imperatori successivi[1] furono anche arciduchi d'Austria.
Nell'epoca carolingia e durante il primo Medioevo il centro del territorio che sarebbe divenuto l'Arciducato d'Austria era conosciuto come Marchia orientalis. I tedeschiemigrati nella zona scacciarono le popolazioni slave nel IX e X secolo e, dopo la battaglia di Lechfeld nel 955, l'area divenne una delle terre costituenti il Sacro Romano Impero e le fu dato un margravato nel 960. Dal 976 il territorio fu governato dalla dinastia Babenberg e divenne conosciuto col nome di Ostarrîchi ("Regno dell'Est"), l'antenato linguistico nel nome tedesco dell'Austria, Österreich.
Nel 1359 il ducaRodolfo IV fece redigere dalla propria cancelleria un falso Privilegium maius per elevare lo status del ducato ad arciducato, ma l'azione non fu riconosciuta dal Sacro Romano Impero. Ernesto I d'Asburgo fu il primo a utilizzare il titolo di arciduca, ma l'arciducato fu riconosciuto ufficialmente solo nel 1453, quando gli Asburgo presero il controllo del governo del Sacro Romano Impero con Federico V (Federico III d'Asburgo). L'Austria fu l'unico Stato in assoluto che divenne arciducato e dal XVI secolo i membri della casata Asburgo ebbero il titolo di arciduca o arciduchessa. Dal 1512 l'arciducato fu anche al centro di un circolo imperiale del Sacro Romano Impero, il circolo dell'Austria, che comprendeva gran parte delle terre ereditarie austriache.
Nel 1804 l'Imperatore Francesco II promosse i suoi territori all'interno del Sacro Romano Impero ad Impero austriaco, come risposta alla proclamazione dell'Impero francese da parte di Napoleone. Il Sacro Romano Impero fu disciolto due anni dopo. Nel 1867, con un patto tra monarchia austriaca e nobiltà ungherese, nacque l'impero austro-ungarico.
L'Arciducato d'Austria continuò a esistere come terra costituente della corona (Kronland) all'interno dell'impero, anche se era amministrativamente diviso nei due arciducati di Alta e Bassa Austria. Il titolo di arciduca continuò a essere utilizzato dai membri della famiglia imperiale e l'arciducato fu sciolto formalmente nel 1918, con la caduta dell'Impero austro-ungarico e la creazione degli Stati federati della Bassa e dell'Alta Austria all'interno dell'Austria e dello stato di Ungheria.