Der Ort hatte Gewicht. Eschelberg lag an einer der stark frequentierten Handelsrouten zwischen dem Donauraum und Böhmen. Man kann heute noch in der Nähe des Schlosses den historischen Rest der „Krumauer Straße“ besichtigen, jenes befestigten Weges, der bis in das tschechische Krumau (Český Krumlov) führte. Schloss Eschelberg war Gerichtsstandort, hatte ein Gefängnis und eine eigene Brauerei – somit Insignien von Macht und Bedeutsamkeit.
Die Burg wird im Jahr 1209 erstmals urkundlich erwähnt, im Jahr 1560 wird sie vom Geschlecht der Gera, einer in Kärnten ansässigen Familie mit fränkischen Wurzeln, erworben und zu einem Schloss im Renaissancestil um- und ausgebaut. Heute noch präsentiert sich das Schlossensemble weitgehend so, wie es damals angelegt worden ist. Doch lange ist die Familie Gera, die in Oberösterreich hohe politische Ämter innehatte, nicht geblieben. Bereits 1647 wurde die Herrschaft Eschelberg an die Familie Starhemberg verkauft.
Für das Jahr 1807 sind Arbeiten zur Neugestaltung einiger Innenräume im Schloss belegt, die heute kaum noch erkennbar sind. Neben einigen Bränden hatte das Schloss vor allem unter der mutwilligen Zerstörung durch die Nationalsozialisten im Frühjahr 1938 zu leiden.
In der Nachkriegszeit entstanden auf Schloss Eschelberg Wohnungen, von denen einige als Hauptwohnsitz genutzt wurden, andere hingegen nur in den Sommerwochen und an Wochenenden. Viele Jahre lang lebte und wirkte hier eine Gemeinschaft vonKünstlerInnen. 2008 wurden umfangreiche Renovierungsarbeiten begonnen.
Die liebevolle Instandsetzung der Schlosskappelle, der Ausbau des ehemaligen Rossstalls zu einem großen Veranstaltungsraum, die Adaption von Räumen im Forsthaus zu kleineren Seminarräumen und die Öffnung des Schlosshofes und des Hofgartens ermöglichen heute die Nutzung als vielfältigen Veranstaltungsort.