L’edificio si presenta composto da due corpi di fabbrica costruiti in diversi periodi: nel XIV e nel XV secolo.

Nel piano inferiore è conservata la Cappella detta “di San Martino”.

L’intera decorazione venne alla luce nel 1982 durante i lavori di adattamento dell’edificio alle nuove funzioni museali.

Affrescata nelle quattro pareti con teorie di Santi, una Crocefissione, la Gloria degli Innocenti e la raffigurazione della Chiesa Trionfante, reca nella volta a vele le figure dei quattro Evangelisti.

L’opera è stata attribuita a Lorenzo di Pietro, detto il Vecchietta, artista senese alle dipendenze di Branda Castiglioni probabilmente dal 1434.

Al piano superiore si trovano:

la Quadreria: ampia sala che raccoglie i ritratti del casato Castiglioni. Le opere esposte risalgono al XVII secolo. Sulla parete di fondo spicca un grande camino di due epoche e stili;

la Camera del Cardinale: stanza completamente affrescata nel 1423. Le pareti sono dipinte con alberi da frutta inseriti in un giardino fiorito dove alcuni bambini giocano.

Nella Camera si trova un antico letto a baldacchino in legno pregiato del XVI secolo detto comunemente “letto del Cardinale”;

lo Studio del Cardinale: conserva nella parete di fondo una veduta ad affresco di paesaggio attribuita a Masolino da Panicale e a Lorenzo di Pietro, che ritrae in maniera del tutto immaginaria la località ungherese di Veszprem, della quale il Cardinale Castiglioni fu Conte. Completa l’arredo della Sala un prezioso mobile da sacrestia del XVII secolo, in noce, recentemente restaurato.