В начале XVIII века здесь, на берегу Мойки, располагалась усадьба племянницы Петра I Прасковьи Иоанновны. В 1726 году Прасковья Иоанновна подарила свою усадьбу Семёновскому полку, который был здесь расквартирован до 1742 года. В середине 1740-х годов эта территория вошла во владения графа Петра Шувалова. Для графа на берегу Мойки был выстроен дворец в стиле барокко, он занял участок современного дома №96. Здесь же располагались двухэтажный дом для прислуги и павильон с шатровой крышей.
Сын Петра Шувалова (граф Андрей Петрович) продал особняк своего отца. По своему вкусу он решил построить новое здание, немного выше по течению реки. Архитектором новой постройки на участке дома №94 стал Ж. Б. Валлен-Деламот, строительство шло в 1774 году. Здание в виде вытянутой буквы "П" располагалось в глубине участка, центральный объём имел три этажа, боковые ризалиты - по два. Со стороны реки Мойки находилась въездная арка, ведущая в парадный двор. Со стороны Офицерской улицы (ныне Декабристов) был организован въезд через триумфальные ворота-арку. Они сохранились до настоящего времени. Переехал Андрей Петрович Шувалов в этот дворец только в 1781 году, до того он проживал за границей. После смерти графа 24 апреля 1789 года наследники продали дворец в казну. В 1795 году этот Екатерина II подарила его своей фрейлине графине Александре Браницкой.
5 марта 1830 года за 250 000 рублей дворец купил Борис Николаевич Юсупов - племянник Браницкой. Для Юсуповых дворец перестраивался в 1830-1838 годах по проекту Андрея Алексеевича Михайлова (Михайлов 2-й). Центральную часть парадного фасада зодчий оставил без изменений, а боковые ризалиты достроил до трёх этажей. С восточной стороны был пристроен новый трёхэтажный корпус, здесь архитектор разместил самый большой зал - Банкетный. Дворцовые флигели были объединены, в них стали размещаться картинные галереи и домашний театр. На территории усадьбы был разбит сад, устроены оранжереи и садовый павильон.
Гостиная в Юсуповском дворце
Вместо въездной арки со стороны Мойки Михайловым была создана Парадная лестница, ведущая в парадные залы дворца. Самый большой из них - Банкетный, также названный Белоколонным, так как оформлен 24 колоннами. Кроме того, во дворце были устроены Танцевальный зал, Зелёная, Императорская и Синяя гостиные, Большая ротонда. В восточной пристройке был создан театр. В анфиладе залов, ведущих к театру, размещалась художественная галерея Юсуповых. Интерьеры Юсуповского дворца создавались итальянскими мастерами А. Виги, Б. Медичи, П. Скотти, Ф. Торичелли, а также русским мастером А. И. Травиным.