Mladý Gustav Mahler zde žil až do roku 1875. Dům prodal po smrti rodičů v roce 1889. Po II. světové válce byl dům č. 4 jako německý majetek konfiskován, převeden do vlastnictví města a poté státu. Dne 19. června 1960 byla v rámci oslav 100. výročí narození Gustava Mahlera na průčelí domu č. 4 odhalena pamětní deska od ak. sochaře Milana Knoblocha, která připomíná, že v domech č. 4 a 6 skladatel v letech 1860–1875 žil. V letech 1993–2000 byl dům postupně zrekonstruován. Od roku 2001 spravovala objekt Městská knihovna. Dům sloužil hlavně výstavním účelům.