Palazzo Casali è anche conosciuto con il nome di Palazzo Pretorio, per aver ospitato i commissari fiorentini sul finire del Medioevo.Benché la facciata risalga al XVII secolo l’architettura risale al tredicesimo secolo e fino al Quattrocento fu abitato dalla signoria dei Casali, alcuni stemmi, tuttora visibili, indicano invece la successiva sede dei commissari fiorentini.
Nel 1727, quando per iniziativa dei tre fratelli Marcello, Ridolfino e Filippo Venuti, nacque l'Accademia Etrusca, il granduca di Toscana Giangastone dei Medici le concesse in uso alcuni locali di Palazzo Casali dove i soci poterono riunirsi. La disponibilità di tali locali consentì poi il sorgere del Museo e della Biblioteca accademici, attorno ai quali ruotarono e continuano a ruotare gli studi e le ricerche promossi dalla istituzione cortonese.
Per tutto il settecento e l'ottocento, si sviluppò tra le persone di cultura e che avevano mezzi a disposizione, la passione del collezionismo privato di oggetti dell'antichità. Tali collezioni assursero a volte un importanza notevole dal punto di vista culturale, successe che alla loro morte alcuni soci lasciassero all'Accademia le loro collezioni confermando così la vocazione pubblica e la funzione didattica e strumentale che erano i presupposti su cui si basava l'Accademia stessa.Museo e Biblioteca nacquero infatti quando il socio Onofrio Baldelli (1667-1728), zio dei Venuti, donò all'Accademia un numero rilevante di statue, idoli, iscrizioni, urne, patere, gemme scolpite, lucerne, voti ed altre preziose cose, alle quali aggiunse una raccolta di rari libri e di antichi manoscritti, che egli aveva collezionato nel corso della sua vita di studioso.
Uno fra gli ultimi lasciti importanti fu quello del socio Girolamo Tommasi, con la morte del quale, avvenuta nel 1896, si estinse il ramo più antico della casata, una delle più note del cortonese. La donazione delle sue collezioni, tra cui figurano anche serie di importanti elementi di arredo, consentono al visitatore di farsi un’idea di quello che poteva essere l'interno dei palazzi, e nei quali risiedeva la nobiltà cittadina.
La raccolta delle varie collezioni del Museo, oltre che a donazioni da parte dei soci, è dovuta anche ad acquisti fatti con sacrificio dai medesimi, come ad esempio è stato fatto per il famoso Lampadario Etrusco: Il lampadario era destinato ad un edificio sacro di grande importanza. Uscito da un'officina dell'Etruria interna centro-settentrionale si può datare intorno al IV secolo a. C. Fu rinvenuto nel 1840 in località "Fratta" ed acquistato dai soci dell'Accademia Etrusca per l'ingente somma di 1600 scudi fiorentini. La fascia esterna corrispondente al lato inferiore dei beccucci è ornata con figure alternate di sileni ed arpie o sirene, i primi suonano la siringa od il doppio flauto, mentre le seconde hanno le mani piegate sul petto. Alcuni delfini guizzano in una fascia ad onde stilizzate, mentre in una fascia più interna vi è una serie di cacce tra animali. Al centro infine, circondato da una corona di serpentelli è la figura del Gorgoneion con la bocca spalancata e la lingua pendente. Alternate ai beccucci, in cui ardevano le fiammelle, sono sedici figure anch'esse finemente lavorate.
Tre istituzioni culturali, il Museo dell'Accademia Etrusca, la Biblioteca Comunale e dell'Accademia e l'Archivio Storico Comunale sono collocate in Palazzo Casali dove è anche ubicata la sede storica dell'Accademia Etrusca. Il Museo al primo ed ultimo piano, la Biblioteca, che ha l'ingresso dal cortile del palazzo, è ubicata al piano ammezzato ed al piano alto, l'Archivio Storico, che ha l'ingresso da via Casali, al piano ammezzato.
I soci hanno reso così possibile lo sviluppo del Museo e della Biblioteca, praticamente senza soluzione di continuità, sino ad oggi, conferendo al Museo un'immagine inconfondibile di originalità ed alla Biblioteca una ricchezza di raccolte fra le più importanti: vi figurano opere della cultura umanistica, particolarmente ricche quelle del settecento.