Il castello di Sipicciano, con le sue torri ottagonali, è già nominato in un documento del 1263 (processo di Selva Pagana), per poi riapparire nelle antiche cronache quando fu bruciato, nel 1326 e poi nel 1328, al tempo delle lotte tra Guelfi e Ghibellini. Ebbe poi un periodo tranquillo quando il castello divenne di proprietà del Cardinale Albornoz.