En 1648, huit ans après la mort de Rubens, sa maison devient un refuge pour William et Margaret Cavendish, futurs duc et duchesse de Newcastle. Le couple va vivre 12 ans dans l’ancienne demeure du peintre.
William Cavendish (1593-1676) était un amateur des arts. Il était poète et dramaturge, protecteur de la musique, des beaux-arts et de l’architecture et était fasciné par les sciences. C’était aussi un cavalier chevronné. Il établit dans l’ancienne maison de Rubens une école d’équitation qui accueillait des visiteurs de très loin, souvent de la haute noblesse.
La seconde épouse de Cavendish, Margaret (1623-1673) maniait la plume. Elle fut une des premières femmes de lettres dont les livres sont publiés de son vivant. Une véritable prouesse à l’époque.