L’edificio attuale è frutto di un ampliamento verso est e di un innalzamento del primo Palazzo Comunale, costruito nel XIII secolo (1270) in pietra calcarea bianca e rosa da maestro Prode. Tra il 1567 e il 1575, al termine della signoria dei Baglioni, l’edificio e la piazza antistante furono oggetto di importanti lavori di trasformazione.

Il principale responsabile di questi interventi fu il lombardo maestro Battaglia di Pietro, molto attivo a Spello in quel periodo. Tra le sue opere, si ricorda la demolizione della vecchia scala di accesso al palazzo, sostituita da una fontana ancora esistente, decorata con rilievi e lo stemma di papa Giulio III (1550-1555).

Nel XVII secolo, l’abate Ferdinando Passerini trasformò parte dell’atrio in un lapidario, dove furono raccolte iscrizioni romane e medievali rinvenute nel territorio. Il palazzo ha ospitato la sede del Comune fino al 1972. Dalla loggia si accede alla Sala delle Volte, oggi sede del Museo dell’Infiorata.