Jusqu'à 1632 l'île inférieure ou le "isola di sotto" était une falaise rocheuse avec seulement un petit village des pêcheurs : en cette année Carlo III Borromeo a commencé la construction d'un énorme palais a consacré à son épouse, Isabella D Adda, assignant ce travail au planificateur Angelo Crivelli, qui a projeté le jardin aussi.
Les travaux ont supporté des pausetowards la moitié XVII du siècle, en raison d'une épidémie de peste qui a éclaté dans le territoire.
Les travaux ont repris quand l'île a passé aux fils, cela ont assigné l'accomplissement à l'architecte romain Carlo Fontana et ont fait l'endroit de villa des parties somptueuses et des perfomances théâtraux pour la noblesse européenne.