Некогда на этом месте были неприступные крепостные стены, а сейчас стоит памятник архитектуры, известный калужанам как Дом гражданского губернатора.

Дом на нынешней улице Карла Маркса был возведен в 1811 году для губернатора. В нем принимали гостей и устраивали пышные приемы. Проект дома был разработан зодчим из Санкт-Петербурга, а местный архитектор Ясыгин реализовал идею строительства.

С 1 января 1775 года Иван Денисович Ясныгин был назначен архитектором калужского наместничества, а с упразднением его в 1796 году остался в Калуге губернским архитектором. В конце 1780-х и начале 1790-х годов Ясныгин сопровождал наместника М. Н. Кречетникова в его переездах. В 1791 году вернулся на пост архитектора в Калугу. Всего под руководством Ясныгина в губернии было построено 141 кирпичное здание. В их числе и Дом губернатора. Его первым владельцем стал Павел Никитич Каверин.

В Калужскую губернию Каверин прибыл 22 февраля 1811 года, а «в отправление должности Гражданского губернатора вступил 23 числа сего февраля». На его правление в Калуге выпала война 1812 года и последующее восстановление разрушенных городов и селений.

Каверина сменил губернатор Николай Михайлович Смирнов. С его именем связано благоустройство прилегающей территории и всей улицы, на которой расположено здание. Именно тогда появилась Золотая аллея. Помимо местных жителей, в гостях у губернатора бывали знаменитые писатели и другие именитые деятели искусства. Особенно примечательными были приезды А.С. Пушкина, Н.В. Гоголя, И.С. Аксакова и других известных современников.

Вплоть до 1917 года первые лица Калуги имели в Доме губернатора квартиры и помещения для официальных приемов и блестящих балов.

После революции жизнь общества переменилась, что отразилось и на судьбе здания. Дом губернатора стал Дворцом Свободы. Его расположение очень подходило для размещения в нем Совета рабочих, солдатских и крестьянских депутатов. Митингующие часто ораторствовали с балкона, который служил некой трибуной для выступающих.

В дальнейшем здесь проходили конференции, а в середине ХХ века размещались суды. Тогда же произошли некоторые изменения в облике здания: балкона не стало, но появилась пристройка.

В 80-х годах XX века в доме появился клуб «Фантазия». В нем стали проводить театральные постановки и устраивать дискотеки. Однако место было примечательно и тем, что там размещалась фотолаборатория и показывали мультфильмы для детей.

Позднее здание постепенно стало приходить в упадок,  активная деятельность в нем уже почти не велась.

Сегодня здание имеет статус памятника федерального значения. Но это не спасло его от пожара в 2016 году. Огонь причинил немалый ущерб, но само строение устояло.

Несколько лет шли разговоры о реставрации. Но только в 2022 году появилась надежда на спасение исторического здания. Дом губернатора решили сделать филиалом Государственного Эрмитажа. По плану реставрация должна завершиться в 2024 году.

В тексте использованы материалы Калужской энциклопедии, Калужского объединенного музея-заповедника, порталов znamkaluga.ru и kaluga24.tv.