Vanaf 1614 deed een oude boerderij op de kruising van de Kerkstraat en de Alphensebaan dienst als woning voor enkele pastoors. Maar dit pand werd overgenomen door de zusters die een gasthuis begonnen in Gilze.
Pastoor van Dijk kocht in 1815 een woonhuis aan het huidige Bisschop de Vetplein. In tegenstelling tot de andere kernen van de gemeente lag de pastorie van Gilze daarmee niet direct naast de kerk, maar op loopafstand van de kerk. Het pand kwam in 1830 in het bezit van de rooms-katholieke gemeente. In 1942 vorderden de Duitsers de pastorie. Later werd het pand bij een bombardement verwoest. Na de Tweede Wereldoorlog is de pastorie opnieuw opgebouwd.
In 1997 verkocht de parochie het pand aan de Rabobank en sindsdien heeft Gilze geen pastorie meer. Parochiecentrum De Sleutel is gevestigd in de kerk.