Strax intill Gräfsnäs, på en liten halvö i sjön Anten, ligger ruinerna efter Gräfsnäs slott. Det byggdes i mitten av 1500-talet och ersatte det tidigare Loholms slott, som låg på Loholmen längre österut i sjön. Det var stamgods för ätten Leijonhufvud, och möjligen födelseplats för Margareta Eriksdotter (Leijonhufvud), som i och med giftermålet med Gustav Vasa 1536 blev svensk drottning. Slottet har brunnit vid tre tillfällen, med hundra års mellanrum: 1634, 1734 och 1834. Efter sista branden byggdes det aldrig upp igen, utan fick förfalla, men har under 1900-talet konserverats.
Sångaren Olle Ljungström bodde på orten under de sista åren av sitt liv.
^Kodnyckel för SCB:s statistiska tätorter och småorter - Koppling mellan gammalt och nytt kodsystem, SCB, 11 november 2021, läs online.[källa från Wikidata]