Inspiration für die Gestaltung des Gartens gab es reichlich. Rubens' Frau Isabella hatte schon als Kind einen großen Garten am Haus ihrer Eltern in der Kloosterstraat. Und auch Rubens' Italienaufenthalte spiegeln sich in der letztendlichen Ausgestaltung seines Gartens wider. In Italien lernte er die originellsten Stadtgärten in Genua und wunderschöne Gärten in Mantua, Florenz und Rom kennen.
Als Hofmaler bekam er auch die weitläufigen Gärten der Erzherzöge Albert und Isabella am Coudenberg-Palast in Brüssel zu sehen. So wurde aus dem grünen Fleckchen Erde am Rubenshuis ein zauberhafter Ort zum Leben. Ein grüner Rahmen, den Rubens genoss und in dem er aus Neugierde viele verschiedene einheimische Pflanzenarten pflanzen ließ. Blumen, Bäume, Zwiebeln, Pflanzen, Tiere und Menschen. Der Garten gehörte ihnen allen!