Il palazzo della Gherardesca occupa gran parte della via Galileo Galilei già via dei Riseccoli, così denominata per il corso d’acqua che scorreva lungo la strada.
Il grandioso edificio in stile neoclassico che prende il nome dall’architetto che l’ha disegnato, Alessandro Gherardesca, è nato come casa di accoglienza per poveri, orfani e anziani con il nome Casa Pia di Sant’Andrea, popolarmente conosciuto con il toponimo Il ricovero. Il Palazzo completato da Angiolo della Valle fu inaugurato nel 1861. Il complesso, danneggiato durante la seconda guerra mondiale, dopo un periodo di abbandono ed un lungo restauro, ospita l’Istituto musicale “Pietro Mascagni” e alcuni uffici della Provincia di Livorno.