Das Städtische Lapidarium befindet sich in einer nach dem Vorbild italienischer Renaissancegärten gestalteten Parkanlage, die ursprünglich dem Fabrikanten Karl von Ostertag-Siegle (1860-1924), einem Schwiegersohn des Großindustriellen Gustav Siegle, gehörte. In dem als Freilichtmuseum gestalteten Park, der sich mit seinem alten Baumbestand, seinen Wandelhallen und seinen Terrassen bis zur Karlshöhe hinaufzieht, befinden sich über 200 steinerne Überreste aus der Vergangenheit Stuttgarts. Der Sammlungsbestand geht bis auf die Zeit um 1900 zurück, als man im Zuge des Rathausneubaus und der Altstadtsanierung viele alte Häuser abriss. Architektonisch und historisch besonders wertvolle Bauteile wurden gesammelt und bis 1945 im Kreuzgang des ehemaligen Dominikanerklosters an der Hospitalkirche aufbewahrt. Die Bruchstücke, die den Zweiten Weltkrieg überdauerten, und andere Baudenkmale der kriegszerstörten Stadt bildeten den Grundstock für das 1950 eröffnete Lapidarium.