In 1938 kreeg Jozef Duffhauss opdracht een rectoraat te stichten in het Batadorp. In de kantine van de Batafabriek werd een kapel ingericht. Door de groei van de parochie werd deze al snel te klein en er moest een nieuwe kerk gebouwd worden aan de andere kant van het Wilhelminakanaal.
Op 9 juni 1941 werd hij door Mgr. A.F. van Diepen, bisschop van den Bosch, benoemd tot bouwpastoor van de nieuwe parochie Heilige Antonius van Padua. Pastoor Duffhauss bleef ondertussen zijn werk bij Bata voorzetten vanuit de noodpastorie die in 1942 gebouwd werd naast de Sint Jozefschool (nu buurthuis Kadans). In die tijd werd het Sint-Antonius-broederschap opgericht. De leden droegen iedere week een kwartje bij aan het bouwfonds voor de nieuwe kerk.

Het gebouw werd ontworpen door architektenbureau Geenen Oskam uit Eindhoven. De aannemer was de firma H. van Heeswijk uit Best. De bouw van de kerk liet, door gebrek aan bouwmaterialen na de oorlog, even op zich wachten maar op 19 juni 1949 vond de eerste steenlegging plaats. Op palmzondag 2 april 1950 droeg pastoor Duffhauss voor het eerst de heilige mis op in de Antoniuskerk in aanwezigheid van bisschop Mutsaerts van Den Bosch.