Die bedeutende Sammlung europäischer Wohnkultur der Renaissance und des Barock geht auf die Sammelleidenschaft der Kinderärztin Dr. Irmgard Freiin von Lemmers-Danforth zurück. Wenige Jahre nach ihrer Niederlassung in Wetzlar im Jahr 1928 legte sie den Grundstein für ihre Sammlung. Schwerpunkte bilden die Bereiche Mobiliar, Kunsthandwerk, Gemälde und Tapisserien des 16. bis 18. Jahrhunderts.
 
Bis zu ihrem Tod im Jahr 1984 trug sie rund 450 Stücke zusammen. 1963 stiftete sie der Stadt Wetzlar große Teile ihrer Sammlung, und schon zu Lebzeiten machte sie die Sammlung einem interessierten Besucherpublikum öffentlich zugänglich. Präsentiert wurde die Sammlung bis Ende des Jahres 2007 im Adelspalais des ehemaligen Kameralassessors Johann Hermann Franz von Pape (1717-1793), genannt Papius, das nach 1975 gleichzeitig als privates Wohnhaus der Sammlerin diente.