Первое, основное здание дворца было построено в 1697-1698 годах по заказу царя Петра I для его друга и сподвижника Франца Лефорта, генерала и адмирала, участника многих петровских военных кампаний. Строительство велось за казенный счет, руководил им «каменных дел мастер» Дмитрий Аксамитов. Здание дворца, состоявшее из нескольких разновысотных объемов (теремов), главным своим фасадом было обращено к Яузе. В центральной части в уровне первого этажа были устроены три проездные арки, второй этаж занимал большой парадный двусветный зал, предназначенный для приемов и праздников – он мог вместить одновременно до 1500 человек. В боковых двухэтажных частях дворца располагались жилые покои. Три дворцовых терема соединялись между собой сенями, где были устроены парадные подъезды с лестницами; каждый из объемов здания был увенчан высокой черепичной кровлей, выполненной на европейский манер. На главном фасаде здания, в центральной его части, была устроены открытая галерея, с которой открывался прекрасный вид на Яузу и окрестности. Фасады выглядели очень нарядно – белокаменные наличники окон, пилястры, декоративные консоли, гирлянды; по всему фасаду шел резной белокаменный поясок с растительным орнаментом; некоторые окна были сделаны витражными. Перед дворцом расстилался парк с прудами. Помещения дворца поражали роскошью – стены главного зала были обиты красным сукном и украшены картинами и зеркалами, а также голландскими печами с расписными изразцами. Стены других комнат были обиты кожей и парчой, обставлены европейской мебелью, украшены предметами китайской работы и картинами, привезенными из Европы.
Праздник по случаю новоселья, в феврале 1699 года, продолжался несколько дней. Дворец был торжественно «освящен» во имя бога Вакха Никитой Зотовым, «всея Яузы и всего Кокуя патриархом». Но Лефорту не суждено было долго наслаждаться новым домом – месяц спустя он неожиданно заболел и скончался.
Дворец перешел в ведение казны и в последующие годы служил Петру I для устройства посольских приемов, праздников и ассамблей.