Das Hoyerbergschlössle blickt auf eine bewegte Geschichte zurück, die im 19. Jahrhundert begann. Nachdem der Lindauer Kaufmann Adolf Gruber den östlichen Teil des Hoyerbergs, einschließlich Torkel erwarb, ließ seine Schwester Dora Gruber nach den Plänen des Architekten Johann Christoph Klunker auf dem höchsten Punkt des Hügels ein Belvedere mit einem auffälligen Aussichtsturm errichten. Dieses luftige Bauwerk diente nicht nur der Arbeit im Weinberg, sondern auch als Veranstaltungsort. Im ersten Stock befand sich ein kleiner Festsaal, während der fast 15 Meter hohe Turm, dessen flaches Dach und offenes oberstes Geschoss an italienische Villenarchitektur erinnerte, eine beeindruckende Aussicht bot. Das Hoyerbergschlössle war mehr als nur eine Privatresidenz – es diente auch als Ort für gesellschaftliche Zusammenkünfte wie Weinerntefeste. In den frühen Jahren nach seiner Errichtung war es ein Treffpunkt für die gehobene Gesellschaft Lindau's, die sich an diesem malerischen Ort zum Feiern und Austausch traf.

Im 19. Jahrhundert galt der Weinanbau auf dem Hoyerberg als das Herzstück des Gutsbetriebs der Familie Gruber. Doch gegen Ende des Jahrhunderts litt die Region stark unter den Folgen von Mehltau und Reblaus, was den Weinanbau in der Gegend nahezu zum Erliegen brachte. Die Familie Gruber veräußerte mit Kaufvertrag vom 31. Januar 1918 schließlich das Hoyerbergschlössle an die damals eigenständige Gemeinde Hoyren. Der atemberaubende Ausblick auf den Bodensee, die schweizer und österreichischen Alpen und die Insel Lindau machte das Hoyerbergschlössle zu einem einzigartigen Ort.

Nach der Eingemeindung von Hoyren, Aeschach und Reutin in den Jahren 1921 und 1922 wurde das Hoyerbergschlössle an die neue Stadtgemeinde Lindau übergeben. Am 1. Mai 1926 eröffnete Eduard Hagge dort zunächst ein Tagescafé, das später zu einer Gaststätte ausgebaut wurde und mit ihrem bodenständigen Angebot zu einem beliebten Ausflugsziel für Besucher aus Nah und Fern wurde.

Im Laufe der Zeit wurden mehrere bauliche Veränderungen vorgenommen, darunter auch eine Erweiterung des Gebäudes, die dem ursprünglichen Charme des Schlössles etwas zusetzte. Der beeindruckende Ausblick blieb jedoch erhalten.

Von 1978 bis Ende 2012 erlebte das Hoyerbergschlössle eine Blütezeit als Gourmet-Restaurant. Zu den prominentesten Gästen zählten u.a. hohe politische Würdenträger. Zum 31.12.2012 gaben die Pächter die Gaststätte auf, da ein Sanierungsstau bestand und keine Investitionen geplant waren. Das Schlössle wurde seitdem nicht mehr genutzt.

Das Hoyerbergschlössle bleibt ein markanter Teil der Landschaft rund um Lindau und wird oft von Wanderern und Besuchern der Region als Fotomotiv genutzt. Von den umliegenden Wegen und Aussichtspunkten kann man immer noch die prächtige Fassade des Gebäudes bewundern. Nachdem die Stadt Lindau diverse Versuche wagte das Schlössle zu vermarkten, wurde es Anfang 2024 an die GWG Lindauer Wohnungsgesellschaft mbH im Rahmen eines Erbbaurechts übertragen. Die GWG Lindauer Wohnungsgesellschaft mbH wird das Hoyerbergschlössle denkmalgerecht sanieren und es einer gastronomischen Nutzung zuführen.
Eintragung im bayerischen Denkmalatlas: „Landschlößchen mit Belvedere Aktennummer: D-7-76-116-412 Lage: Bezirk Schwaben | Landkreis Lindau (Bodensee) | Lindau (Bodensee) Adresse: Hoyerbergstraße 64 Funktion: Aussichtsturm Denkmalart: Baudenkmal Beschreibung: Ehem. Hoyerberg- oder Gruberschlößchen, zweigeschossiger nach Süden ausgerichteter Saalbau mit Satteldach und seitlichen Loggien, an der Nordostecke Aussichtsturm mit flachem Zeltdach, Obergeschoss als allseitiges Belvedere mit Rundbogenöffnungen und auskragenden Konsolbalkonen, aus geschichteten Natursteinquadern, 1854-55 nach Plänen von Johann Christoph Kunkler, um 1920 und nach 1950 verändert;“