В разные годы в доме Муравьева размещались такие учреждения, как банк, мануфактура, пекарня, швейная фабрика. В советское время в здании работала гродненская областная библиотека.
Сложные времена для здания настали в середине 90-х. Библиотека переехала в другое помещение, а дом купца Муравьева постепенно стал главной городской «заброшкой». За десятилетия здание фактически разграбили, вынеся отсюда все, включая чугунные ограждения и декоративные элементы. Периодически здание пытались отреставрировать или найти для него нового собственника, но эти попытки заканчивались неудачей.