Il Museo ha sede, dal 1948, nel complesso architettonico di San Domenico, la cui costruzione ha inizio con la fondazione dell’ordine domenicano, nel 1233.
Alla fine del Cinquecento viene completato il chiostro grande e aggiunto il piano porticato. Pochi anni dopo è edificato l’oratorio della confraternita.
Nel 1957 le collezioni dei Musei Civici, sparse in varie sedi, sono qui riunite da Umberto Calzoni dopo una lunga traversia burocratica, e diventano proprietà statali.