V roce 1724 François Duret, prezident Velké rady zakoupil na předměstí Saint-Germain pozemek, který se nacházel mezi současnou Rue Saint-Dominique a Rue de l'Université. Parcela byla určena pro markýzu Jeanne-Agnès Berthelot de Pléneuf, milenku Louise Henriho de Bourbon-Condé, který zde chtěl postavit rozsáhlý palác. Po vévodově diskreditaci v roce 1726 se markýza vzdala přestěhování do rozestavěného paláce. Dům poté koupila Françoise de Mailly (1688–1742), vdova po markýzovi Louisovi II. Phélypeauxovi de La Vrillière (1672–1725). Od ní ho koupila v roce 1733Luisa Alžběta Bourbonská, princezna Conti, která pověřila architekta Nicolase Simonneta novou výzdobou. Palác se poté nazýval Hôtel de Conti. Krátce před svou smrtí v roce 1775 darovala princezna Conti palác svému vnukovi Louisovi Françoisovi I. de Bourbon. Od něj ho získal v následujícím roce Louis Athanase de Loménie de Brienne (1730–1794), který byl v roce 1787 jmenován ministrem války. Palác se od té doby nazývá Hôtel de Brienne a poprvé ve své historii se stal sídlem ministra války.
Palác pod názvem Hôtel de Conti na mapě města, kolem roku 1737
Hrabě Brienne byl gilotinován v květnu 1794 a po jeho smrti byl palác zabaven revoluční správou, která zde zřídila Výbor pro obchod a zásobování. V roce 1795 byl palác navrácen komtese de Brienne. V roce 1798 palác koupila manželka Françoise Séguyho, generálního dodavatele vojenského proviantu, která pod vedením architekta Lavoyepierra provedla řadu stavebních úprav. Manželé kvůli finančním obtížím o palác přišli. Soud v roce 1800 budovu přiřkl Josephu Lanfreyovi, zaměstnanci úřadu vojenských služeb, který jej pronajal Lucienovi Bonapartovi, který byl tehdy ministrem vnitra. V roce 1802 jej získal Lucien Bonaparte do vlastnictví. Provedl několik úprav interiérů a palác v roce 1805 prodal své matce Laetitii Ramolino.
_from_the_Turgot_map_of_Paris_circa_1737.png)
