Im Überschwemmungsgebiet von Lauter und Werra gelegen, war die Burg leicht zu verteidigen. Reste der Wassergräben wurden 1993 freigelegt.
1436 erwarb die einflussreiche Ritterfamilie von Harstall Ort und Burgsitz Mihla. Der Mode entsprechend ließen diese die alte Wasserburg ab 1536
zum wohnlichen Schlosse im Renaissancestil umbauen. Der älteste Schlossflügel (1836/37 abgerissen) wurde fortan das "Weiße Schloss" genannt.
Für die heute noch erhaltenen Schlossbauten sind mehrfache Umbauten in den Jahren 1553, 1560 und 1625 nachweisbar. Es entstanden zwei Türme.
Der viereckige Turm der Ostseite ist in das Wohngebäude einbezogen. Der im Grundriss als unregelmäßiges Vieleck gestaltete Fachwerkturm
wurde dem Schlossbau vorgesetzt.
Im Mittelbereich das wegen seiner Dachabdeckung bald "Blaues Schloss" genannten Herrenhauses befindet sich ein weiterer älterer Treppenbau. Das Dach setzt sich aus mehreren Giebelerkern zusammen, von denen drei an der Nord- und drei an der Südseite liegen und dem Schloss sein charakteristisches Aussehen geben.
Ende des vorigen Jahrhunderts setzte sich aufgrund des verwendeten Kalksteins die Bezeichnung "Graues Schloss" durch. Im Schlossgebäude befinden sich Wirtschaftsgebäude, die bis in das 17. Jahrhundert zurückreichen.
1971 wurde das Graue Schloss als Gaststätte eingerichtet. In drei unterschiedlich gestalteten Gasträumen - die Ritterstube im Erdgeschoss,
das Jägerzimmer und der Ahnensaal im ersten Stockwerk - werden die Gäste bewirtet und sind Familien- und Vereinsfeste möglich.
Das Graue Schloss wurde 1998 saniert und es entstanden 8 Gästezimmer, so auch eine wunderschöne Hochzeitssuite.
Wir, die Familie Stötzel und Mitarbeiter bewirtschaften seit über 42 Jahren dieses gastronomische Kleinod und freuen uns auf Ihren Besuch.