Fino al 1632 l'isola inferiore o "isola di sotto" era uno scoglio roccioso occupato da un minuscolo villaggio di pescatori: in quell'anno Carlo III Borromeo iniziò la costruzione di un palazzo enorme dedicato alla moglie, Isabella D'Adda, affidando i lavori al progettista milanese Angelo Crivelli, al quale si deve anche la progettazione dell'impianto di base dei giardini.
I lavori subirono una pausa d'arresto verso la metà del XVII secolo, a causa della grave epidemia di peste scoppiata nel ducato di Milano.
La costruzione riprese slancio quando l'isola passò ai figli, che affidarono il completamento dei lavori all'architetto romano Carlo Fontana e fecero diventare la villa luogo di feste sontuose e rappresentazioni teatrali per la nobiltà europea.
