Im 17. Jahrhundert erhielt das Schloss sein heutiges Erscheinungsbild. Die Innenausstattung stammt größtenteils aus dem 17. und 18. Jahrhundert mit Stuckaturen im Treppenhaus von Johann Wiedemann, einem Turmraum im pompejanischen Stil und der Bibliothek mit barockisierender Ausstattung. Unter Graf Anton Heinrich Friedrich von Stadion wurde das Schloss zu einem geistigen Zentrum, dem "Warthauser Musenhof" mit dem Kreis um Christoph Martin Wieland, Sophie von La Roche und Johann Heinrich Tischbein d. Ä. 1776 schrieb Wieland hier seinen "Agathon". Auf verschiedene Räume verteilt, finden sich Bildnisse und Handschriften der gräflichen Familien, von Christoph Martin Wieland und Sophie de la Roche sowie Ansichten des Schlosses, unter anderem von Johann Baptist Pflug. Ferner sind Skulpturen, "Ulmer Schränke", Rokokomöbel, Öfen, Fayencen und Porzellan sowie Waffen zu sehen. Die Schlosskapelle mit Herrschaftsloge aus dem 16. Jahrhundert enthält mittelalterliche Tafelbilder und Skulpturen.