De vorige pastorie werd gebouwd door pastoor G. van Heeck in 1803 en stond op de grens van de Hoofdstraat/Nieuwstraat op de plaats waar nu de Raadhuisstraat begint. Later was dit pand in gebruik als café De Vier Linden. Het gebouw werd gesloopt in 1963.
Op 7 april 1854 werd het huis van ene Piet van den Boom, hoefsmid en herbergier, door het kerkbestuur aangekocht voor f 1.025,-. En van Jan Ebben werd een stuk grond gekocht dat pastorietuin zou worden (deze tuin was veel groter dan de huidige tuin). Op 27 mei 1855, ruim een jaar later dus, is het van Piet van den Boom gekochte huis afgebroken en “enkele dagen later is men met de nieuwe bouw begonnen”.
De kosten van de bouw van de nieuwe pastorie, de grond voor de tuin en de aankoop van het huis van Van den Boom bedroegen totaal f 17.615,-.
Na 27 mei 1855 is met de bouw van de pastorie is begonnen. In de periode 1 jan t/m 23 mei 1855 is het kerkbestuur vooral bezig geweest met de aankoop en het vervoer van stenen, kalk, tras (= soort metselspecie), hout, enz. Gezien Best in 1855 nog geen spoorlijn en geen kanaal had moesten alle bouwmaterialen met paard en wagen worden aangevoerd.
Op 2 Mei 1856 hebben pastoor H. Zomers en kapelaan A.Raaymakers de nieuwe pastorie betrokken.
De pastorie heeft twee bouwlagen onder drie naast elkaar gelegen schilddaken. Het oudste gedeelte uit 1856, ligt onder het middelste schilddak. Dit bestaat uit vijf traveeën. In 1911 vond een uitbreiding plaats aan beide zijkanten van de pastorie met een vleugel van twee traveeën breed. De bakstenen gevels hebben natuurstenen speklagen ter hoogte van de boven en onderkant van de vensters. De voor- en achteringang hebben een classicistische hardstenen omlijsting, aan de voorkant met voluten. De dubbele deuren zijn voorzien van smeedijzeren roosters. In het dak boven de hoofdingang een gemetselde topgevel met kleine drietrap bekroning met siersmeedwerk. De bakstenen gevels zijn gemetseld in kruisverband. Het oudste gedeelte van de pastorie heeft handgevormde stenen. De muuropeningen zijn getoogd, ze zijn voorzien van kruisvormige schuifvensters. Aan de voorkant van de rechter zijvleugel, op de begane grond twee blindvensters. Het huis heeft rondom een hardstenen plint en onder het dak een gemetseld fries met houten kroonlijst. Uitzondering hierop vormt de achtergevel met een geprofileerd gepleisterd fries. In de linker zijvleugel bevinden zich naast de keuken en toegang naar de kerk de dienstvertrekken, met een eigen toegang vanaf straat en kerkplein.
In het huis een zwart marmeren gangvloer met centraal een wit stervormige versiering. Fraaie stucplafonds met zwaar geprofileerde lijsten in achterkamer, met klein koepelgewelf en in voorkamer met gebeeldhouwde versiering, geheel geschilderd in pasteltinten. Drie marmeren schoorsteenmantels. In het trappenhuis houten bordestrappen met leuningwrong en kuipstukken. De bovenverdieping is bij het trappenhuis afsluitbaar met twee grotedubbele paneeldeuren. Imitatie hout-schilderwerk op verdieping. Twee kelders, de oudste met een gemetseld tongewelf met wijnnissen.