Архитектор Василий Васильевич (Людвигович) фон Витт (1818—1894) — русский военный инженер и архитектор, академик архитектуры Императорской Академии художеств, генерал-майор инженерной службы. Особняк построен для Джованни Витали, более известный как Иван Петрович Витали (1794 - 1855) — русский скульптор итальянского происхождения, монументалист, портретист и педагог, академик и профессор Императорской Академии художеств. Иван Петрович Витали подарил особняк жене Аделаиде Осиповне Витали.В 1862 году дом по купчей перешел к артиллерийскому капитану Василию Людвиговичу фон Витту, вероятно, родственнику архитектора. Он владел им недолго и в период 1865–1866 годов продал своему начальнику генералу от артиллерии И.С. Лутковскому, отцу Варвары Ивановны Икскуль фон Гильденбанд . Красная баронесса завела в нем светский салон, быстро ставший в Петербурге модным и чрезвычайно посещаемым. В зале второго этажа проходили «четверги» с литературными чтениями и концертами.