Il castello, trasformato poi in Palazzo Baronale fu la dimora di caccia di Federico II di Svevia e sorge su una collinetta rocciosa. Fu costruito in epoca normanna e poi rimaneggiato dagli svevi. Si entrava nel castello attraverso un portale che conduceva ad un cortile; attorno a questo si aprivano una serie di locali che furono adibiti a carcere. Nel XVII secolo quando appartenne alla Principessa di Fondi, Donna Costanza, fu riempito di opere d’arte, molte delle quali si trovano ora nella Pinacoteca D’Errico. Oggi sono ancora visibili la facciata e due torri con alle spalle una costruzione minore un tempo destinata alle scuderie imperiali.