Jean-Daniel-Henry de Molin (1729-1811) achète avec le concours de sa belle-mère Suzanne Seigneux une maison au Petit-Ouchy grâce à un lot de 30'000 florins gagnés en Hollande. La campagne acquise forme un seul domaine sur lequel il fait construire de 1780 à 1783 une nouvelle demeure qui prend une cinquantaine d'années plus tard le nom d'Elysée.
Le domaine aménagé à la fin du XVIIIe siècle dans un style baroque tardif avec, escaliers, murets et topiaires sur lequel la demeure est construite en 1760-1783 peut être considérée comme l'un des plus beaux bâtiments datant du XVIIIe siècle à Lausanne.
Parmi les propriétaires successifs figurent le banquier William Haldimand (1784-1826) et Victor de Constant (1814-1902), frère du photographe bien connu, Constant Delessert.

Favrod, Charles-Henri, Le Musée de l'Elysée, In: Reflets (Lausanne); (1988)no 3, p. 15-17: sites et références mentionnés; Françoise Belperrin Plaquette du Service des bâtiments Elysée-Petit-Ouchy, p. 4-6 [BCU19/Doc. vaudoise/bs/2011/09]