Vanaf 1614 deed een oude boerderij op de kruising van de Kerkstraat en de Alphensebaan dienst als woning voor enkele pastoors. Maar dit pand werd overgenomen door de zusters die een gasthuis begonnen in Gilze.
Pastoor van Dijk kocht daarom in 1815 een woonhuis aan het huidige Bisschop de Vetplein.
De Oude Pastorie was vervallen en werd gerestaureerd als Rijksmonument. Tijdens de Tweede wereldoorlog waren er in de omgeving van het gebouw veel bombardementen. Het pand werd echter niet vernield.
Op 2 juli 1946 werd de Oude Pastorie door de bliksem getroffen en brandde tot de grond toe af. Als gevolg van herstelwerkzaamheden na de oorlog, zat er te weinig druk op het waterleidingnet om fatsoenlijk te kunnen blussen. De Oude Pastorie is nooit herbouwd.