En 1971, désireux d'assurer un statut public à sa collection d’art brut, Jean Dubuffet en fait don à la Ville de Lausanne. Une partie du château de Beaulieu est aménagée en musée et, en 1976, la Collection de l'Art Brut est inaugurée. Michel Thévozest nommé conservateur, Lucienne Peirylui succède 2001 à 2011.