Museet er indrettet i det tidligere private hjem bygget til LEGO virksomhedens leder Godtfred Kirk Christiansen, hustruen Edith og deres tre børn: Gunhild, Kjeld og Hanne.
Huset blev tegnet af arkitekt Åge Bundgård. Familien flyttede ind den 12. december, 1959.
Da forretningsforbindelser fra udlandet i stort tal gæstede LEGO, og hotelforholdene i Billund var beskedne, stillede Godtfred ganske særlige krav til huset.
Tanken bag bygningen var at skabe et hus, der kunne bruges til repræsentation i LEGO regi, men som samtidig skulle være hyggeligt at bo i for en familie. Mange udkast blev bygget med LEGO-klodser, inden både bygherre og arkitekt var tilfredse. Husets centrale punkt var en atriumgård, som giver sol og lys til resten af huset.
Renoveringen i 2016-18, fra privat hjem til museum, er udført med størst mulig respekt for husets oprindelige design.
Haven blev skabt af Egon Lauritsen, i samarbejde med Edith Kirk Christiansen. Haven danner rammen om det nye Teddy Bear Art Museum.
Ediths have er altid åben for besøgende.