Hirsholm var indtil 2024 den eneste af Hirsholmenes 8 øer, der var beboet (med 1 beboer). Er fraflyttet foråret 2024. Øen er blot 15 ha (0,15 km²).
Frem til 1583 ejedes øerne af Kronen, men herefter fulgte en lang periode med skiftende adelige ejere.
I 1800-tallet boede der mere end 200 mennesker her, men langt de fleste bygninger er i dag ferieboliger. Øen administreres af Skov- og Naturstyrelsen og den indgår som en del af naturreservatet Hirsholmene, der omfatter de 8 øer samt et havområde på 24 km² (2400 ha). Reservatet er hjemsted for en af Europas største hættemågekolonier.
Fra 1760 til 1909 var der en kro på øen. Den fungerede også som landhandel, og er den eneste forretning, der har været på øen.
1880 købte den svenske stenhugger Carl Gustav Bovin Hirsholmene. Han havde i en periode omkring 200 stenhuggere i arbejde. 1884 blev øerne solgt til Marineministeriet.
Den første skole blev oprettet på Hirsholm i 1641, men i 1970 kom Hirsholmene med i Frederikshavn Kommune, og skolen blev nedlagt.
Hirsholmene Kirke på Hirsholm er en renæssancekirke i bindingsværk opført omkring 1640. Kirken ejes af staten. Siden 1921 har øen ikke haft en fastboende præst.
Hirsholm Fyr blev opført i 1887 af granit fra Hirsholmene og afløste det gamle fyr fra 1838, som i nutiden er en tilbygning til fyrmesterboligen. Det 27 meter høje fyr er placeret på øens højeste punkt, det seks meter høje Ørnebjerg. Fyret har en flammehøjde på 30 m og udsender tre hvide roterende blink hver halve minut. Fyret blev automatiseret i 1996.
Postbådsforbindelsen blev startet i 1872. Der er færgeforbindelse ca. 3 gange ugentlig med postbåden mellem Hirsholm og Frederikshavn.