Il nucleo originario (XII sec.) fu edificato dai conti di San Martino: di quella fortificazione rimangono solo alcuni settori di muratura dell’area nord-ovest. Fino al 1500 il castello conservava ancora l’impianto di struttura fortificata, con tanto di fossato attorno ad esso. Nel 1646 il conte Filippo di San Martino attuò la prima vera e propria trasformazione, attribuibile all’architetto Amedeo di Castellamonte, con la realizzazione di due gallerie parallele per inquadrare il cortile e la costruzione della cappella interna di San Massimo. Alla morte del conte (1667) il castello aveva una struttura simmetrica: due corti, una interna ed una esterna verso il borgo, e presentava già le due torri affacciate sul giardino. Nel 1763, quando il castello divenne proprietà di Benedetto Maria Maurizio duca del Chiablese, l’architetto Ignazio Birago di Borgaro fu incaricato del progetto di riqualificazione: esso prevedeva la ridistribuzione degli appartamenti ducali nella zona nord e l’edificazione dell’attuale chiesa parrocchiale nella corte verso il borgo.
Dopo il periodo napoleonico, in cui il castello fu adibito a ricovero di mendicità e spogliato dei suoi arredi, nel 1823 rientrò, per eredità, nei possedimenti di Re Carlo Felice, che fu artefice di ristrutturazioni e riallestimento degli arredi. Nel 1939 il castello fu venduto allo stato e trasformato in museo.
Il castello è circondato su tre lati dal giardino e dal grandioso parco. Il giardino a sud-ovest è organizzato a terrazzamenti posti su tre piani differenziati. Il parco è stato separato dal giardino solo nel 1878 per consentire la costruzione della strada (la rampa) che porta alla piazza, percorrendo la quale si può ammirare la fontana dell’esedra o fontana dei fiumi, impreziosita dai gruppi scultorei dei fratelli Collino, rappresentanti la Dora, il Po, l’Orco ed il Malone, i 4 fiumi principali che scorrono nel territorio canavesano. La piazza del castello rappresenta un grandioso complesso architettonico, il più grande del Canavese e uno dei più grandi del Piemonte. Infatti alla fine del XVIII sec. venne abbattuta l’antica chiesa parrocchiale sul lato sud-ovest e le case che circondavano il palazzo. La chiesa fu ricostruita sul lato nord-ovest e fu collegata al castello con la galleria ovest, conosciuta come galleria alle tribune. La galleria est presente nel progetto originario non fu mai costruita, come la porta e l’arco d’accesso al borgo (ne sono testimonianza le morsettature sulla chiesa). La piazza è chiusa a nord da due palazzi: a destra palazzo Birago, a sinistra palazzo Pavignano.