Créé en 1960 dans l'une des bâtisses les plus anciennes de la Butte, construite du XVIIe siècle, le musée fut un lieu de rencontres et de résidence. Le 12 rue Cortot attira de nombreux artistes. Auguste Renoir y eut son atelier tout comme Suzanne Valadon, Émile Bernard et les fauves Émile-Othon Friesz et Raoul Dufy.