Il Palazzo Visconteo si trova a destra della Chiesa di Santa Maria Assunta. Qui risiedeva il Visconte che esercitava il comando quando Allerona era un castello dei Monaldeschi. Il Palazzo che oggi è di proprietà privata, è stato ristrutturato e ampliato in età rinascimentale.