Errichtet um das Jahr 1400 als Amtshaus mit Gerichtslaube, war es während des Bauernkrieges Versammlungsort der aufständischen Bauern gegen den Schwäbischen Bund, mit seinem Heerführer Georg von Waldburg, genannt der Bauernjörg. Nach dem Ende des Dreißigjährigen Krieges befand sich in dem Gebäude von 1683 bis 1813 eine Posthalterei, der von den Thurn und Taxis betriebenen Kaiserlichen Reichspost. Im Jahre 1768 nächtigte die österreichische Erzherzogin Maria Theresia von Österreich mit ihrem Gefolge im Adler und zwei Jahre später kehrte dort ihre jüngste Tochter Marie Antoinette, die spätere Königin von Frankreich, auf ihrer Brautfahrt von Wien nach Versailles ein. Die letzte Postkutsche sah man im Jahre 1908 vor dem Adler halten. 1987 verbrachte die britische Prinzessin Anne ihren Winterurlaub im Adler.

Vom 31. Oktober bis zum 2. November 1958 tagte die Schriftstellervereinigung Gruppe 47 in dem historischen Gasthof. Nachdem die Betreiber im Februar 2013 über die Schließung des Gasthofes informierten, setzt sich Günter Grass für dessen Erhalt ein.