[4] Der Palast und der Turm wurden von dem Grafen Biserno, Verwandten der Familie Gherardesca, Feudalherren des nach dem Familiennamen genannten Schlosses in der Nähe von San Vincenzo, gebaut, als sie um 1250 zu Massetanern werden wollten. Nach dem in XII. Jhd. gültigem Gesetz mussten die Feudalherren, die Massetaner werden wollten, ein Haus in Massa besitzen. Nachdem Massa nicht mehr ein freier Comune war, zogen die Grafen aus und die Bischöfe ein, da sie ihr Schloss in Monteregio (1336) zugunsten der Sieneser aufgeben mussten. Die Bischöfe blieben bis 1603 in dem Haus, bis sie in den Opera San Cerbone einzogen, neben dem Dom, wo sie auch heutzutage noch wohnen. Neben dem Palazzo, aber durch eine kleine Spalte von diesem getrennt, wurde der Turm errichtet, der später von der Comune abgekauft wurde. Schon 1300 war ein Teil Besitz der Comune.