Del suo antico castello restano solo pochi muri in un poggio sovrastante il paese attuale, sviluppatosi accanto alla pieve di S. Pietro, oggi intitolata a S. Giovanni Battista. La pieve è attestata già da un diploma imperiale del 1081, nel quale viene indicata col nome di pieve di S. Pietro in Valle. Entro le sue mura, nell’anno 1135, fu stipulato il contratto con cui Ranieri vescovo di Siena concesse al monastero di S. Salvatore (nell’odierna Abbadia a Isola) una parte dei diritti su alcune delle sue proprietà. Nel 1202 i conti Ardengheschi furono obbligati a pagare al comune di Siena 26 denari per ciascuno dei loro castelli, tra i quali il castello di Rosia. Con la fine del dominio ardenghesco, avvenuto pochi anni più tardi, Rosia divenne sede di un comune rurale dello stato senese. Nel 1260 il paese fu devastato dall’esercito fiorentino e nel 1333 dall’esercito pisano comandato da Ciupo degli Scolari. La pieve, che alla fine del cinquecento ricevette il titolo di Vicaria foranea, conserva integro il bellissimo campanile, il quale si articola in una successione di ripiani provvisti di aperture monofore, bifore, trifore e quadrifore (il coronamento a merli, posto sulla vetta, è frutto di un’aggiunta moderna) e contrassegnati da arcatelle pensili. Il corpo della chiesa fu invece oggetto nel XIV secolo di un rifacimento, col quale vennero invertite le posizioni della facciata e della parte terminale. L’odierna facciata reca pertanto, al di sopra del portale, le tre finestrelle romaniche a doppio strombo che originariamente illuminavano il presbiterio. Un arcosolio, forse destinato a una sepoltura, si apre nella parte iniziale esterna della parete sinistra. La strada che corre parallela alla facciata della chiesa è l’asse principale del nucleo storico del paese. Da essa si diramano, sulla destra, pittoresche stradicciole che, tra case caratterizzate da strutture medievali, salgono verso un possente edificio denominato il castello, ma certamente più recente del più antico castello che sorgeva fuori dall’abitato. Questo edificio è costituito da due corpi di fabbrica paralleli, collegati da un corpo trasversale più recente, che lascia un cortile dalla parte dell’ingresso. Sebbene assai alterati e degradati, i due fabbricati presentano molti dei loro elementi originari: un’altissima base a scarpa che da uno dei fabbricati si prolunga al muro di cinta del cortile, arciere e archibugiere, tracce di finestre ad arco.