En 1976, les descendants de Charles-Juste Bugnion donnent la maison et une partie du parc à la Ville de Lausanne. Une restauration soigneuse redonne alors à la demeure, construite entre 1842 et 1850, son éclat d’origine. Simultanément une fondation privée voit le jour. Elle poursuit deux objectifs: maintenir vivante et faire connaître une belle demeure lausannoise du XIXe siècle et assurer le développement d’un musée de haut niveau dans le domaine des beaux-arts. Ce deuxième objectif prend forme en 1984. Depuis cette date, deux à trois expositions de renom international sont organisées chaque année. La Fondation de l’Hermitage possède également une collection, qui n’est pas exposée de façon permanente et qui comprend plus de 500 œuvres (Bocion, Gleyre, Vallotton, Bosshard, Domenjoz, Degas, Tiepolo, Magritte, Braque, Sisley, Valadon).