Sulle pendici delle colline che da Gualdo Cattaneo digradano fino a Bettona, incontriamo un po' in disparte rispetto agli altri castelli, Pomonte che deve il suo nome proprio alla sua posizione geografica; secondo alcuni il toponimo potrebbe derivare da "Post Montem", dopo il Monte, secondo altri da "Poggio di monte". Oggi la posizione è più pedemontana rispetto al primitivo insediamento, situato sicuramente più in alto, dove fin da tempi molto antichi si formarono le prime aggregazioni urbane. Sul declivio del monte chiamato «Poggio delle Civitelle » si notano ancora i grandiosi resti del diruto castello, costruito al tempo del cardinale Egidio Albornoz; tutta l'area, a confine con il territorio di Bevagna, ha restituito varie testimonianze romane, molti reperti archeologici rinvenuti in questa zona, e attualmente esposti al Museo archeologico di Perugia, ci testimoniano la frequentazione di queste colline in epoca antica. Lo stesso toponimo fa pensare alla presenza, prima della rocca albornoziana, di un antico castelliere umbro, una sorta di santuario di altura a dominio della valle del Puglia. Nel corso dei secoli Pomonte fu teatro di lotta e di contesa fra varie città della zona, Todi, Bettona, Foligno, Spoleto, diventando anche meta di fuoriusciti che si rifugiarono tra le sue mura. Nel Medioevo appartenne per un periodo anche ai conti di Antignano, (la contea di Antignano, castello posto sulle colline di Bevagna, comprendeva diversi possedimenti che spaziavano tra Bevagna e Gualdo Cattaneo). Nel 1415 Gregorio XII conferì al Castello il titolo nobiliare di baronia, facendovi costruire quello che a tutt'oggi si denomina Palazzo Baronale. I successivi pontefici non fecero che confermare questo stato di cose, finché nel 1658, sotto Alessandro VII, dopo la morte di Bonifacio Crispolti, Pomonte passò alle dirette dipendenze del Pontefice. Tra la fine del XVIII sec. e l'inizio del XIX sec. il feudo passò ai baroni Baldini di Orvieto e successivamente ai conti Bennicelli di Roma. Nel 1943 il Palazzo Baronale fu scelto dai tedeschi quale alloggio per il comando e l'anno seguente fu oggetto dell'azione del gruppo partigiano che asportò tutto il materiale requisito dai militari d'oltralpe. Oggi la struttura, più volte ristrutturata, si eleva maestosa sopra un colle, circondata da una ricca vegetazione; a pianta quadrilatera, presenta agli angoli piccole torri contro-scarpate d'altezza pari alla metà del palazzo; ha mantenuto al suo interno molti saloni decorati ad affresco e una cappella privata.