Na de dood van Rubens werd zijn huis niet meteen een museum. Hendrik Hillewerve was een van de latere eigenaren. De kanunnik woonde er van 1680 tot aan zijn dood in 1694. Hij was het die Jacob Harrewijn de opdracht gaf om de woning te vereeuwigen op papier.

Het opzet: het huis van zijn meest indrukwekkende kant laten zien. En dus komen de door Rubens gebouwde delen prominent in beeld. De prent uit 1684 toont de binnenplaats met zicht op de tuin via de bogen van de portiek. Rechts houdt een hond ‘de wacht’ voor de ingang van het sierlijke atelier. Het woonhuis aan de overzijde oogt een stuk soberder.

Voor zijn tekening uit 1692 vatte Harrewijn post in de tuin. Opvallend: de portiek ontbreekt. De Amsterdamse kunstenaar liet de portiek bewust weg om het atelier in al zijn glorie af te beelden. In de eerste van drie ‘inzetjes’ onderaan legde hij Rubens’ voormalige beeldenmuseum vast. ‘Verbouwer’ Hillewerve had er intussen een huiskapel van gemaakt. De ruime slaapkamer rechts kreeg dan weer een koepeldak. En ook de tuin was intussen heraangelegd. De voorgevel centraal bleef wel onveranderd.

Het stadsbestuur gaf midden 20ste eeuw Emiel Van Averbeke de opdracht om het gebouw te renoveren en reconstrueren. Naast het bouwhistorisch onderzoek dat hij liet uitvoeren, greep de stadsbouwmeester terug naar de tekeningen van Harrewijn. Hoewel bouwtechnisch niet helemaal correct en soms zelfs wat gefantaseerd, bleken ze essentieel om de authentieke elementen van het Rubenshuis in ere te herstellen.