Huset byggdes av en framstående familj Sarajevo, Glođos, en medlem var kadi - islamisk domare-administratör - Munib effendi Glođo, känd för sitt engagemang i Bosniens kamp för autonomi inom det osmanska riket. Familjen misslyckades på grund av en manlig arvtagare, och fastigheten gick vid äktenskap med en annan framstående Sarajevo-familj, Svrzo. Svrzo's House är ett typiskt exempel på arkitekturen under den perioden, med dess uppdelning i selamluk eller offentliga kvarter och haremluk eller privata familjekvarter. Det köptes från familjen Svrzo, renoverades och öppnades för allmänheten på 1960-talet. Efter belägringen av Sarajevo renoverades huset och öppnades igen för allmänheten 1997. Ytterligare stora renoveringar genomfördes 2005, när taket reparerades, kullerstengarna lades ner, föråldrade serviceanläggningar ersattes och målad dekoration på musandera (inbyggt utbud av skåp) i huvudhalvatten (salongen), som bleknat under åren, återställdes. Museet har publicerat en tvåspråkig - bosnisk och engelsk - monografi över Svrzos hus.