Originariamente appartenuto alla famiglia dei Sangallo, come riportato da Fantozzi nella sua Nuova guida di Firenze (1842), ed allora riccamente ornato da statue e dipinti di illustri artisti, il palazzo subì significativi cambiamenti nel rifacimento seicentesco operato da Gherardo Silvani per volere dell’allora nuovo proprietario Sebastiano di Tommaso Ximenes.