От старинного интерьера сохранились только сводчатые потолки. Первоначально здание было двухэтажным. Третий пристроили не после войны, как в остальных зданиях в центре Смоленска, а еще в тридцатые годы, когда дом губернатора был превращен в Дом крестьянина. Вероятно, эта надстройка привела к тому, что в здании появилась трещина, которую обнаружили в 2011 году во время реставрационных работ. Сейчас она устранена. Однако стены третьего этажа по-прежнему намного тоньше старинных, и эта разница до сих пор видна на лестнице. В кабинете №16 ребята обучаются композиции и рисунку. Есть мнение, что в августе и ноябре 1812 года именно тут останавливался император Наполеон.Ирина Лышковская, сотрудник государственного архива Смоленской области:
«Дом губернатора со службами. Здесь же написано, что этот дом был построен в 1785 году. Сам дом, после того, как он был построен, практически каждый год ремонтировался. Потому что построен он был на сырых почвах, недалеко от крепостной стены, там был земляной вал, который преграждал отток воды от здания».
Долгое время дом был последним на Ильинской улице. Поэтому, когда калитка в крепостной стене в 1870 году была превращена в пролом, в честь дома его назвали «губернаторским».Татьяна Еленева, заместитель директора детской художественной школы им. М. К. Тенишевой:
«В этом кабинете когда-то находился балкон, и, когда Наполеон взял город Смоленск, его гвардия останавливалась в парке Блонье, останавливались биваком, и проходило празднование взятия города, и Наполеон приветствовал с балкона своих старых гвардейцев».