Il castello, attestato fin dai primi anni del secolo XIII, apparteneva ai conti Pannocchieschi e da questi trae il proprio nome. Oggi vi si trova un massiccio torrione, inglobato da fabbricati costruiti in epoca successiva, con una base a scarpa e merlature sorrette da archetti in pietra impostati su mensole.