Il Castello di Celsa si erge lungo la via secondaria della Francigena che da Colle Val d’Elsa porta a Siena e domina il panorama che si estende da Siena sino al Monte Amiata. Inizialmente sorto come castello, baluardo difensivo della repubblica di Siena sulla Montagnola Senese, fu trasformato nel Cinquecento in residenza per iniziativa del proprietario Mino Celsi. Da questa famiglia senese, estintasi precocemente, è probabile che derivi quindi il suo nome. Il restauro cinquecentesco è sicuramente attribuibile all'architetto Baldassarre Peruzzi, per l'esistenza di un disegno, che descrive la cappella circolare e la sistemazione dei muri di terrazzamento.
Nel maggio del 1554, durante la Guerra di Siena, il complesso fu severamente danneggiato dalle truppe imperiali, fiorentine e spagnole del Marchese di Marignano. Durante il XVII secolo, contemporaneamente al restauro del fabbricato, venne iniziato il progetto, dai de' Vecchi, degli ampi giardini, espressione della cultura barocca. Nel 1802 subentrarono nella proprietà i Chigi, ai quali si devono alcune trasformazioni tardoottocentesche della residenza di carattere neogotico, ma limitate al prospetto posteriore e che non inficiano l'aspetto monumentale della facciata principale, rimasto intatto.
Un ulteriore restauro della dimora e del giardino si deve ai principi Aldobrandini, proprietari di Celsa dai primi del Novecento.