Належний в даний час сім'ї Кавацца острів Гарда протягом століть носив різні назви, майже завжди пов'язані з іменами власників: інсула крани, острів ченців, острів Лекі, острів Скотті, острів де Феррарі і пізніше острів Боргезе.
Один з власників острова Луїджі Леккі передав в Римський музей Брешії знайдені на острові 130 надгробків римсько-Гальського періоду, - це доводить, що на острові існувало поселення ще в епоху Стародавнього Риму. Наданий самому собі після розпаду Римської Імперії, до 879 року острів використовувався як мисливські угіддя. Перша історична згадка про острів знайдено в указі короля Карломана 879 м і містить повідомлення про передачу острова монахам монастиря Сан Дзено у Вероні. До 1220 р Франциск Ассизький відвідав безліч місць в Північній Італії, включаючи озеро Гарда, яке тоді називалося Бенако.
Що знаходиться в затишному місці острів здався Св. Франциска ідеальним місцем для його братства; власник острова Біеміно та Манерба, на якого особистість святого справила велике враження, передав у власність монахам частина острова. Св. Франциск заснував в північній скелястій частині острова Пустельникової скит. Ченці ніколи не покидали це відокремлене місце, незважаючи на постійні нашестя військ Брешії, Верони і Мантуї. У 1429 році з приїздом Св. Бернардина Сієнського, монастир був розширений і оновлений; острів стає важливим центром духовної медитації, чиїм гостинністю користувалися відомі церковні діячі, такі як батько Франциск Лікето зі знатної родини Лекі з Брешії, який заснував тут 1470 р школу теології та філософії. Смерть батька Франциска Лікето ознаменувала початок періоду занепаду релігійної громади острова. З 1685 по 1 697 острів був місцем, де проходили своє послушництво новонавернені монахи.
У 1778 р тепер уже древній монастир був остаточно скасований Наполеоном, який з утворенням Цезальпінской республіки заволодів правами на острів. Потім острів став власністю держави, і потім послідовно змінював власників: Жан-Батист Контер (1800), братство бенедектінцев з Портезе (1803), Джованні Флорентіні з Мілана (1806) і граф Луїджі Лекі з Брешії (1817). Луїджі Лекі розгорнув значні реставраційні та будівельні роботи, і через 20 років передав право власності своєму братові Теодоро, колишньому генералу наполеонівської армії, який вніс додаткові зміни з додаванням терас перед віллою.
У 1860 р територія була експропрійована державою і передана армії. Ідея будівництва військової фортеці не знайшла підтримки, і було прийнято рішення виставити острів на аукціон; володіння були продані барону Скотті, який перепродав їх герцогу Гаетано де Феррарі з Генуї і його дружині російської ерцгерцогині Марії Анненковій. Період з 1880 по 1900 рр. нові власники присвятили розробці і створенню парку, будівництва підпірних стін у напрямку до озера, завезли родючі землі і екзотичні рослини. Палац був оточений терасами з садами в італійському стилі, з мальовничими огорожами і квітучим чагарником. Перед смертю герцога в 1893 р подружжя разом розробили проект будівництва нового палацу на місці старовинної вілли сім'ї Лекі. Вілла в венеціанському неоготичному стилі була побудована за проектом Луїджі Ровеллі в 1890-1903гг.
Будівля, архітектурно дуже складне, має власний стилістичною єдністю і рідкісним величчю. Фасади прикрашені вікнами у вигляді стрілчастих арок, з південно-західного боку височить вежа, увенченная кам'яними зубцями з квітковим орнаментом в неоготичному стилі. Після смерті ерцгерцогині острів перейшов у спадок її дочці Анні-Марії, яка вийшла заміж за римського князя Шипионе Боргезе. Анна-Марія дуже любила острів і зробила його своїм будинком, до кінця життя піклуючись про парк та дбайливо зберігаючи сімейні спогади.
У 1927 році, після смерті князя острів успадкувала його дочка Лівія, яка вийшла заміж за графа Алессандро Кавацца з Болоньї, зберігши віллу у відмінному стані і залишивши її в спадок своєму синові Камілло. Наступними спадкоємцями стали дружина Камілло і їх семеро дітей, які живуть на острові і продовжують з любов'ю доглядати за парком і палацом.
