La costruzione del palazzo fu iniziata nei primi anni Ottanta del Tredicesimo secolo forse per volere di Neri della Greca su un'area che fin dal 1157 esisteva il palazzo papale, la struttura fu ampliata già dal decennio successivo, la torre campanaria vi fu aggiunta nel 1315, il capitano del popolo Poncello Orsini fece fondere e issare la campana con i simboli delle arti e nel 1472 fu realizzata la copertura della parte superiore. E' in stile romano gotico con elementi di influenza locale di particolare importanza artistica sono le trifore e le decorazioni che abbelliscono il palazzo. A seguito di lavori più recenti hanno riscoperto e reso fruibile l'area archeologica sottostante con reperti etruschi: basamento di un tempio del Quinto secolo a.C. e medievali: tratto dell'acquedotto e cisterna.