Das Museum befindet sich in dem barocken Palais Weimar, um 1710 erbaut. 1921 erwarb es das Gründerehepaar der heutigen Stiftung, Victor Goldschmidt und Leontine Goldschmidt, geb. von Portheim, zur Unterbringung ihrer vielseitigen Sammlungen. Bereits 1919 gründeten sie die J. & E. von Portheim-Stiftung für Wissenschaft und Kunst, um die Forschungstätigkeiten der von ihnen ins Leben gerufenen wissenschaftlichen Einrichtungen dauerhaft zu gewährleisten. Damit stehen sie in der großen Tradition der jüdischen Kunst- und Wissenschaftsförderung in Deutschland. Von diesen Einrichtungen hat nur das Ethnographische Institut die NS-Zeit überlebt, das heute als Völkerkundemuseum weiter besteht. Gezeigt werden in der Dauerausstellung Kunst und ethnografische Objekte aus den Regionen Asiens, Afrikas und Ozeaniens. In einem Anbau, dem Asmat-Haus, wird ein weit gefächerter Einblick in die Kunst, die Weltsicht, die Rituale und das Alltagsleben der Asmat geboten, die im Westen der Insel Neuguinea leben.