Huset blev bygget af en fremtrædende Sarajevo-familie, Glođos, hvoraf et medlem var kadi - islamisk dommer-administrator - Munib effendi Glođo, berømt for sit engagement i Bosnienes kamp for autonomi inden for det osmanniske imperium. Familien mislykkedes på grund af mangel på en mandlig arving, og ejendommen gik ved ægteskab med en anden fremtrædende Sarajevo-familie, Svrzo. Svrzo's House er et typisk eksempel på arkitekturen i den periode med dens opdeling i selamluk eller offentlige kvarterer og haremluk eller private familiekvarterer. Det blev købt fra Svrzo-familien, renoveret og åbnet for offentligheden i 1960'erne. Efter belejringen af Sarajevo blev huset renoveret og åbnede igen for offentligheden i 1997. Yderligere større renoveringer blev foretaget i huset i 2005, da taget blev repareret, brostensbeløbet blev afløst, forældede serviceinstallationer blev udskiftet, og malet udsmykning på musanderaen (indbygget række skabe) i hovedhalvatten (salongen), der var falmet gennem årene, blev restaureret. Museet har udgivet en tosproget - bosnisk og engelsk - monografi om Svrzos hus.