Am Ende des Zeiler Stadtteils Schmachtenberg, der sich in die Schlucht zweier Bergrücken hineinschmiegt, liegt ein idyllisches Schlösschen. Märchenhaft verträumt mit verspielten Erkern und Türmchen blickt es über die Dächer Schmachtenbergs, umgeben von einem kleinen, gepflegten Park.
Eine verbürgte Nachricht über die Entstehung des Schlosses Schmachtenberg gibt es nicht. Es kann einst aber durchaus eine Vorbefestigung, vielleicht ein massives Torhaus oder ein befestigtes Wirtschaftsvorwerk zur Sperrung des Burgzugangs gewesen sein (mündliche Mitteilung des verstorbenen Landrats a. D. Jobst von Zanthier). Doch verrät die "Schauseite" des Schlösschens in ihrer Baugestaltung den Stil der Renaissance, ähnlich dem des Geyerswörth-Schlosses in Bamberg (Frührenaissance).
Man nimmt an, dass das Schmachtenberger Schlösschen unter dem Bamberger Bischof Weigand von Redwitz entstanden ist. Aufstockungen und Erweiterungen sind 1553 und 1597 vorgenommen worden, was eingebrannte Jahreszahlen im Holz des Fachwerks beweisen. Hermann Mauer, Rektor i. R., Ehrenbürger und Chronist der Stadt Zeil, stellte fest: "Es ist soviel an ihm (am Schloss) herumgebastelt worden, was seine Entstehung in der ersten Hälfte des 16. Jahrhunderts teilweise verdeckt."
Als Jagdschloss des Bischofs wird das Schlösschen bezeichnet, das den Bambergerhöflinge bei Jagdausflügen im wildreichen Zeiler Forst als Übernachtungsmöglichkeit diente. Doch der ursprüngliche Zweck dürfte ein anderer gewesen sein. Denn die Wirtschaftsgebäude, die sich hinter dem Wohnhaus an beiden Seiten eines schmalen Innenhofs erstrecken, und ein geräumiger Keller zur Lagerung von Wein aus dem bischöflichen Weinbergbesitz deuten darauf hin, dass es zunächst einem bischöflichen Verwalter der Burg auf der Höhe gehörigen Äcker, Wiesen und Weinberge als Wohnsitz diente. Es ist allerdings auch leicht möglich, dass schon um 1600 herum der Verwalter umquartiert worden ist und die vielen Gästezimmer mit Stuckdecken geschaffen wurden, die noch heute vorhanden sind. Erst um 1800 gibt es dokumentarische Hinweise auf die Nutzung als Jagdschloss (in der "Historisch-topographischen Beschreibung des kaiserlichen Hochstifts und Fürstentum Bamberg" von J. B. Roppelt steht, dass sich im Dorf Schmachtenberg ein "fürstliches Jägerhaus" befinde).
Im Zuge der Säkularisation (Enteignung des kirchlichen Eigentums durch den Staat) kam auch das Schlösschen in weltlichen Privatbesitz. Ein Würzburger, namens von Ziegler, war unter den genannten Eigentümern. Überlieferungen alter Schmachtenberger zufolge, soll er ein altes Wappen über dem Tor abgemeißelt und statt dessen sein eigenes angebracht haben. Die Weintrauben und Rosen im viergeteilten Schild deuten auf eine bewusste Kennzeichnung des Schlösschens durch den Herrn v. Ziegler als eine Art 'Quell heiterer Lebensfreude'. Vom Jagdschloss zum Lustschloss war ja wohl auch kein weiter Weg.
Ein späterer Eigentümer war der Steinbruchbesitzer Reinhard von Zeil. In der Blüte der Schleifsteinherstellung kaufte er das Schlösschen und baute es um. In dieser Zeit, Ende des 19. Jahrhunderts, entstanden der Turm auf der Südseite und die Abschlusstürmchen auf den Erkern sowie anderer Dachgiebel-Zierrat. 1939 wurde das Schloss vom Ehepaar von Zanthier erworben und befindet sich noch heute im Besitz der Nachfahren.