Ihre Mutter war Clementina Walkinshaw, die Mätresse des Thronprätendenten in den Jahren 1752 bis 1760. Nach Jahren der Schmähung verließ sie Charlie und nahm ihre Tochter mit sich. Die meiste Zeit ihrer Kindheit verbrachte Charlotte in Klosterschulen in Frankreich.[1][2][3]
1783 legitimierte sie ihr Vater und verlieh ihr auf Lebenszeit den schottischen AdelstitelDuchess of Albany (der mit der Erfolglosigkeit ihres Vaters beim Bestreben den britischen Thron zu erlangen in Großbritannien freilich nie anerkannt wurde). Infolgedessen wurde sie die Betreuerin ihres Vaters und verließ dabei ihre eigenen Kinder, die in der Obhut der Großmutter im schweizerischen Freiburg aufwuchsen.[1][2][3][4] Diese drei Kinder waren:[3]
Marie Victoire Adelaide Stuart (* 1779; † jung);
Charlotte Maximilienne Amélie Stuart (* 1780; † jung);