L’énigmatique devise des Candie « Tout à rebours » suggère que les sages, parfois, comme les écrevisses, avancent à reculons. Dès 1344, le Château anciennement Chaffardon devient la propriété des Candie qui lui donne leur nom 1344 lorsque Rolet Candie prête hommage pour le fief avec Mars et Aimon. D’origine chevaleresque et proche de la Maison de Savoie, les Candie sont l’une des familles les plus anciennes et fortunées de Chambéry.
A l’extinction des Candie au XVIème siècle, le Château devient la propriété en 1579 du Sénateur Pierre Juge puis de l’archevèque de Tarentaise, Jean-François Berliet. Quelques années plus tard encore, il est vendu à un commerçant chambérien d’origine piémontaise, Chieri, dont le fils Balthazar est maître auditeur à la Chambre des Comptes. Les Sarde de Candie furent anoblis en 1598 et conservèrent le château pendant près de quatre siècles. Le dernier, Heni-François Joseph (1750-1827), officier de cavalerie dans l’armée sarde, fut fait baron de Candie en 1790. En 1803, il entra au Conseil Municipal de Chambéry. Il légua le château aux Hospices de Chambéry. Ilfut ensuite vendu en 1839 à la marquise de Tredicini, née Saint-Séverin, dont la famille le conserva jusqu’aux premières années du XXème siècle.

Le domaine devient alors, avant 1920, la propriété de Gaston Vasseur, qui à son tour le cède à Didier Lhostis en 1990. Ce dernier, passionné et collectionneur d’antiquités, entreprit des travaux spectaculaires pour le transformer en un superbe hôtel restaurant. Depuis 2006, la Compagnie d’Hôtels poursuit cette œuvre de rénovation avec la même passion.