Huis ter Kleef is een voormalig Nederlands kasteel, dat dateerde uit de dertiende eeuw. De ruïne ligt in de huidige Haarlemmer Kweektuin in Haarlem. De wijk waarin de ruïne te vinden is, is naar het kasteel vernoemd; Het Ter Kleefkwartier.
Huis ter Kleef werd gebouwd in 1250 en heette destijds 'Huis te Schoten'. Het kasteel lag aan een drukke verbindingsweg tussen Haarlem en het dorp Schoten (ten noorden van Haarlem). Toen stond er alleen een woontoren die in het bezit was van Pieter van Rolland. Na hem was het kasteel in bezit van Willem de Bastaard en Willem de Cuser (1339 - ±1370), Willem Cuser (junior) (± 1365-1392), Catharine de Cleve (1392-1433) en de familie Van Borsselen (vanaf 1433-?). Zij veranderden de naam van 'Huis te Schoten' naar 'Huis ter Kleef', familie Brederode (1492-1568), Don Frederik (1570-1573).
Het kasteel was in 1572 en 1573 het hoofdkwartier van de Spanjaarden tijdens het Beleg van Haarlem. In 1573 werd Huis ter Kleef opgeblazen door Don Frederik (de zoon van de hertog van Alva). Dit deed hij om te voorkomen dat de Geuzen zich in het kasteel zouden vestigen om Haarlem te heroveren.
Nadat het kasteel in 1573 was opgeblazen door Don Frederik, sloopten de Haarlemmers in 1576 een deel van de ruïne om de bakstenen te gebruiken voor het herstel van de stad na de grote stadsbrand van Haarlem van 1576. In 1578 kwam Huis ter Kleef weer in handen van de familie Van Brederode. Zij besloten de ruïne niet meer op te bouwen en alleen de Kaatsbaan (of het 'Huis met het torentje'), dat niet was opgeblazen, te gebruiken.
Omdat de opvolging binnen de familie Van Brederode een probleem vormde, werd in 1600 het erfrecht van de familie omgezet in 'sterfelijk mansleen'. Ook zusters, dochters en kleinkinderen konden het kasteel nu erven. Middels een huwelijk met de familie Dohma kwam Huis ter Kleef in handen van de Duitse graaf Frederik Adolf van Lippe.
Het land om de ruïne van het kasteel gaf weinig opbrengst en de schulden van het landgoed liepen hoog op. In 1713 had Von Lippe zoveel schulden dat hij een deel van zijn bezittingen moest afstaan, waaronder Huis ter Kleef. De ruïne en het land eromheen werden door de stad Haarlem gekocht. Vanaf die tijd brokkelde de ruïne in snel tempo af. De Haarlemmers gebruikten de stenen voor het bouwen van nieuwe huizen.
Sinds 14 april 1909 liggen de ruïne en Kaatsbaan in de Stadskweektuin. Slechts een klein deel van de ruïne is nu nog zichtbaar, de rest ligt onder het zand van het eilandje waar de ruïne op staat.