Het ontwerp is voor het grootste deel afkomstig van architectAldo van Eyck. Het werd speciaal voor de Hubertusvereniging gebouwd voor gezinnen met één ouder die tijdelijk onderdak nodig hadden en wordt daarom ook wel het Moederhuis genoemd. Het kleurige complex is eigenlijk bedoeld als stadje op zich en heeft een enigszins ingewikkelde plattegrond met passages, dakterrassen en binnenplaatsen. Het modernistische gebouw telt vijf verdiepingen en in het complex zijn ook twee 19e-eeuwse panden geïntegreerd. Om een ontspannen sfeer te creëren is het opgetrokken uit verschillende materialen, met verschillende kleuren. Van Eyck ontwierp het gebouw samen met Theo Bosch in 1973. De opening vond plaats in 1980. Het gebouw valt, althans de nieuwbouw, valt op door de toegepaste kleuren. Intern zijn er allerlei hoeken en hoogteverschillen (ook tussen met trappen verbonden etages) om het speelse karakter voor kinderen te benadrukken. Daartegenover staat de oudbouw uit 1885 met een klassieke gevel en indeling.
Het complex werd in juni 2001 tot gemeentelijk monument verklaard.
Voordat er aan het Hubertushuis gebouwd werd stond er een school en vergaderzalen van de Vereniging Talmoed Thora ontworpen door Isaac Gosschalk. In dat gebouw was de latere Joodse crèche gesitueerd, vanwaaruit in de Tweede Wereldoorlog kinderen al dan niet een onderduikadressen bereikten. Elementen van het oude gebouw zijn nog terug te vinden in enkele ronde gevelelementen.
.jpg)