År 2003 blev det fastslaget att ön ägs av Statens Fastighetsverk, sedan den förvaltats av kommunen under cirka 50 år.
På Skrivareklippan fanns fram till 1930-talet en fyr. Kanotklubben Bris i Varberg har under många år haft Skrivareklippan som samlingsplats. En sommarkväll med kanotklubben på "klippan" beskrivs av varbergsprofilerna Nils Holmström (musik) och Lennart Engström (text) i den stämningsfulla "Vals i bris".
Varbergs största gymnasieskola är döpt till Peder Skrivares skola. Den kallas i dagligt tal "PS-skolan" eller "PS" och är belägen vid Engelbrektsgatan i östra delen av centralorten. Söder om centrum finns sedan tidigare Peder Skrivares väg.
