Det första stenhuset uppfördes omkring år 1470 av riksrådet Arvid Knutsson som försvarsborg mot danskarna. Omkring 1550 tillkom trapptornet och vissa om- och tillbyggnader skedde under 1500- och 1600-talen. Riddarsalen har välbevarad renässansinteriör och slottskapellet, som inreddes i slutet av 1600-talet, är i barockstil. På Torpa hämtade Gustav Vasa sin tredje hustru, Katarina Stenbock. Torpa, som blev den stenbockska släktens främsta stamgods, har sedan 1400-talet aldrig sålts utan gått i arv antingen på mans- eller kvinnosidorna.
Borgen har de senaste decennierna genomgått en stor invändig renovering. Den nuvarande ägaren har låtit återställa den ursprungliga rumsindelningen samt möblera upp en del av slottet. Man har även lyft golven, som genom åren satt sig rejält, sedan man rivit alla innerväggar, varav vissa var bärande. Under många år fungerade borgen som sädesmagasin, vilket var anledningen till att de flesta innerväggar revs. Användningen som sädesmagasin är också orsaken till att borgen är så välbevarad, trots att den varit obebodd under lång tid, eftersom denna verksamhet krävde ett helt tätt tak.
I borgen finns ett museum med bland annat bruksföremål. Den visas av guide under maj – augusti.
Torpa tillhör också Sveriges spökhus med fem olika manifestationer: Den gråa frun, Den inmurade flickan, Torpas vita hästar, Lille Gustav Stenbock och Greve Gustaf Otto Stenbock.[1]
Den grå frun skall enligt en sägen någon gång i en svunnen tid varit dotter till en av stenhusets mäktiga herrar.[2] Slottsherren hade halshuggit en fånge från Danmark som husets dotter fattat tycke för.[3] Den unga dottern hade sedan blivit sjuk och dött av sorg.[2] Sedan har hon fortlevt som en klagande vålnad och irrat kors och tvärs genom slottet.[3] Men hon ska vara ett omtänksamt spöke som även varnar och skyddar för diverse faror.[2]
Den inmurade flickan ska vara en ung flicka som blev levande inmurad i ett av borgens rum. Hon hade varit på besök hos släktingar i Danmark och berättade hemkommen i förtroende för sin syster att hon trodde att pesten drabbat människor på den båt hon hade färdats. Hennes far, som var riddare, hade hört detta samtal och av rädsla för att pesten möjligen skulle ha drabbat dottern och då kunna sprida sig, bestämde han sig för att avlägsna henne. Han insåg dock att det måste ske smidigt och bestämde sig därför för att låta mura in henne. Det sägs att han väckte henne mitt i natten och satte henne på en stol intill en fönsterkarm. Sedan kom några murare och började mura in den levande flickan. Ett rykte säger att tre byggarbetare försökte förstöra väggen där hon var inmurad, men att alla dog innan de lyckades. En ramlade ner för trappan och fick blodförgiftning av något vasst som denne landade på, en fick hjärtinfarkt osv. Anledningen till att de tre byggarbetarna dog sägs vara att flickans yngre syster tyckte så synd om henne när hon varje sekund under fyra dagar kunde höra sin älskade systers förtvivlade gråt. Så för att lugna henne satt hon utanför väggen och pratade med henne hela dagarna. När hon på femte dagen inte längre kunde höra sin systers gråt, kastade hon en förbannelse över väggen, så att ingen någonsin skulle kunna störa henne.
Torpas vita hästar är en ståtlig vagn, dragen av fyra vita hästar, med en kusk klädd i släktens färger. Ekipaget ska enligt sägnen bara kunna ses av ägaren till Torpa stenhus då han eller hon ligger för döden.
Björkman Eva antikvarie, Emanuelsson Lena, Overland Viveka, red (2016). Hus, människor, minnen. Skrifter utgivna av Bohusläns museum och Bohusläns hembygdsförbund, 0280-4174 ; nr 93. Göteborg: Länsstyrelsen i Västra Götalands län. sid. 37-39. Libris19352952. ISBN 9789176862742
Wallerman, Stig (text), Håkanlind, Sören (foto). Torpa Stenhus (1989). Utgiven av Samarbetsgruppen för visning av Torpa Stenhus. Libris852764.