Дворец находился в северо-западной части Константинополя, в районе Влахерны, в XIV районе города[2]. Первым известным по документам императорским строением в этой районе был «триклинийраки» (др.-греч.τρίκλινος τής Άγίας Σορού) построенный, вероятно, при императоре Льве I (457—474). Это предположение делается на основе того, что при нём к Влахернской церкви была сделана пристройка для хранения раки с реликвиями. Этот триклиний состоял из спальни, зала приёмов и оратория. Следующим по времени был построен Дунайский триклиний (др.-греч.Τρίκλινος Δανουβιός), столь же простой по структуре. Он располагался выше, и к нему вело две лестницы. Ещё выше находился триклиний Анастасия (491—518) (др.-греч.Τρίκλινος Ἀναστασιακός), названный в честь построившего его императора. Между триклиниями Анастасия и Дунайским находился портик Иосифита (др.-греч.(Πόρτικας Ἰωσηφιακός). Ещё один триклиний, Океанский (др.-греч.Τρίκλινος Ὠκεανός), назывался так, видимо, из-за своего оформления. В нём 2 февраля проводился праздник представления Господа в храме[фр.], на который император приглашал большое число высших сановников[3].
При императоре Алексее I (1081—1118) в этом районе был построен новый Влахернский дворец, который стал основной резиденцией. В нём император принимал предводителей Первого крестового похода. Хронист Никита Хониат сообщает, что при внуке Алексея, Мануиле I (1143—1180) дворец был расширен и украшен, став известен как Новый дворец. Он был одной из достопримечательностей византийской столицы, показанных королю Иерусалима Амори I[2]. Согласно французскому хронисту Одону Дейльскому, хотя этот дворец и был расположен несколько ниже прежних, он всё равно доминировал над городом[4]. В это же царствование к дворцу были пристроены бастионы, а при Исааке Ангеле были возведены башни. В 1203 году во Влахернском дворце проходили переговоры с лидерами Четвёртого крестового похода. После падения города в 1204 году латинские императоры предпочли в качестве резиденции Буколеонский дворец. Однако Балдуин II (1228—1261) предпочитал Влахерны, оставив отвоевавшим в 1261 году Константинополь грекам дворец в настолько запущенном состоянии, что Михаил VIII Палеолог (1261—1282) смог занять его только после масштабного ремонта. При последующих Палеологах дворец оставался главным местом пребывания двора. Согласно описаниям современников, он был великолепно украшен и производил сильное впечатление на иностранцев своей роскошью[5].
