Den var oprindelig ejet af Alling Kloster, og kom efter reformationen under kronen. Den blev mageskiftet i 1579 da Frederik 2. samlede sine besiddelser. Gården blev herefter ejet af slægterner Brun, Skade og Bielke. Christian Bielke kom i besiddelse af Kærbygård i 1664 og sandsynligvis var det i hans tid – omkring 1680 – at hovedbygningen blev flyttet til sin nuværende placering. Otto Bielke, der var den næste ejer, fik Kærbygård ophøjet til stamhus i 1708, men det blev dog ophævet igen i 1750 og gården blev solgt.
Slægten Secher kom i besiddelse af Kærbygård via arv og omkring 1770 opførte A.J. Secher en ny hovedbygning med tre fløje i bindingsværk i en enkelt etage. Secher-slægten ejede Kærbygård til et stykke ind i 1800-tallet, hvorefter gården temmelig ofte er blevet handlet.
De nuværende bygninger i bindingsværk er opført omkring 1770, med kraftig ombygning i 1881, hvor facaden blev genopført i murværk. Avlsbygningerne nedbrændte i 1927, men blev genopført året efter.
.jpg)
