Als het aan hemzelf gelegen had, zou hij het liefste bekend hebben gestaan als de geschiedschrijver van de rooms-katholieke Kerk in Nederland. Van 1914 tot 1935 was hij hoogleraar kerkgeschiedenis aan het groot-seminarie Rijsenburg van het aartsbisdom Utrecht. In die periode schreef hij het ‘Handboek der kerkgeschiedenis’ dat tientallen jaren een standaardwerk zou blijven.
Aan een benoeming tot aartsbisschop dacht hij niet. Zelfs de functie van president van het groot-seminarie aanvaardde hij alleen maar uit gehoorzaamheid. De onhandige en verlegen De Jong ambieerde dit soort leidinggevende functies niet. Eigenlijk wilde hij pastoor worden en in zijn vrije tijd historisch onderzoek doen.
Maar het liep anders. Door zijn benoeming tot hoofd van de priesteropleiding werd hij ook lid van het kapittel van het aartsbisdom. Daar vielen zijn bestuurlijke kwaliteiten voor het eerst op. Hij had een nuchtere kijk op de zaken en bleek over veel mensenkennis te beschikken. De kamergeleerde werd een serieuze kandidaat voor de opvolging van de toenmalige aartsbisschop J.H.G. Jansen.
Dat moment kwam eerder dan verwacht. In 1934 werd aartsbisschop Jansen ernstig ziek en hij herstelde onvoldoende om zijn werkzaamheden weer op te kunnen nemen. Daarom deed het kapittel een verzoek om de aanstelling van een hulpbisschop. Op 31 juli 1935 kreeg De Jong te horen dat de keuze op hem was gevallen. De gezondheid van mgr. Jansen ging daarna steeds verder achteruit en in februari 1936 was hij gedwongen om zijn ontslag in te dienen. De Jong volgde hem op.
Datzelfde jaar was de populariteit van de Nationaal-Socialistische Beweging (NSB) op haar hoogtepunt. De Jong moest niets weten van het nationaal-socialisme en vond deze ‘leer’ onverenigbaar met het katholieke geloof. De Nederlandse bisschoppen maakten bekend dat katholieken die de NSB steunden geen sacramenten meer mochten ontvangen.
Verder zette hij het beleid van zijn voorganger in grote lijnen voort. Hij nam het initiatief tot de oprichting van de Katholieke Actie (KA) in het aartsbisdom. Dat was een idee van de toenmalige paus Pius XI. De Actie hield in dat leken werden ingeschakeld bij het verspreiden en versterken van het geloof. Daarbij had De Jong kleine kernen van overtuigde gelovigen voor ogen die in hun parochies zouden strijden tegen zaken als prostitutie, onzedelijke kleding en dansen, drankmisbruik, communisme en ‘nieuw-heidendom’. Met dat laatste werden fascisme en nationaal-socialisme bedoeld. Dit alles onder leiding van de pastoor, want leidende functies waren in de ogen van De Jong niet weggelegd voor leken.
De Katholieke Actie had tot de Duitse inval in Nederland vooral het karakter van een zedelijkheidsoffensief. Na die tijd zouden veel kernen van de KA haarden van verzet tegen de nazi’s worden. De Jong liet zich niet misleiden door de welwillende houding die de Duitsers in de eerste maanden van de bezetting vertoonden. Een pleidooi van de bisschoppen van Breda en ’s-Hertogenbosch om katholieken voortaan toe te staan om lid te worden van de NSB vond bij hem geen gehoor. Sterker nog: in januari 1941 werd het verbod om lid te worden uitgebreid tot andere nazistische organisaties, waaronder de SS.
In de loop van 1941 versterkten de nazi’s hun greep op de katholieke vakbonden en andere katholieke organisaties. Op zondag 3 augustus 1941 lieten de Nederlandse bisschoppen daarom in alle kerken een verklaring voorlezen waarin zij hun gelovigen opriepen hun lidmaatschap op te zeggen van organisaties die onder nationaal-socialistische leiding waren gesteld. De Jong had de avond daarvoor het bevel gekregen om de verklaring in te trekken, maar hij weigerde. De Duitse autoriteiten lieten het bij een boete van ƒ500,-. Resultaat van de oproep van de bisschoppen was dat alle katholieke organisaties leegstroomden. Een fonds voor ‘bijzondere noden’, dat op initiatief van De Jong was opgericht, zorgde voor de financiële ondersteuning van werknemers van katholieke organisaties die door het opheffen hiervan hun baan hadden verloren.
Toen in 1942 de deportaties van joden naar concentratiekampen begonnen, protesteerden De Jong en de leiders van acht protestantse kerkgenootschappen hiertegen in een telegram aan de hoogste Duitse gezagsdrager in Nederland, rijkscommissaris Arthur Seyss-Inquart. De tekst van het telegram, dat op 11 juli 1942 werd verstuurd zou op zondag 26 juli in alle kerken voorgelezen worden. Onder zware Duitse druk kwam de Nederlands Hervormde Kerk hierop terug, maar in de andere kerken werd in scherpe bewoordingen tegen de vervolging van de joden geprotesteerd en werd voor hen gebeden.
Als represaille werden op zondag 2 augustus 1942 245 joden gearresteerd die katholiek waren geworden. Onder hen bevond zich Edith Stein. Aanvankelijk waren de ‘gedoopte joden’ van deportatie vrijgesteld, maar die vrijstelling werd nu ingetrokken. De meesten van hen kwamen om in Duitse vernietigingskampen.
In 1943 volgden nog twee openbare protesten van de rooms-katholieke kerk tegen de vervolging van joden en andere groepen en tegen de gedwongen tewerkstelling van Nederlanders in Duitsland. De Jong was zich terdege bewust van het gevaar dat hij zelf liep, maar vooral ook van de risico’s die hij nam met zijn principiële stellingname. Deze had in zekere zin het leven gekost van een aantal katholieken van joodse afkomst en ook van Titus Brandsma die de opdracht had gekregen om redacties van katholieke kranten ervan te weerhouden nationaal-socialistische advertenties in hun bladen op te nemen. Brandsma werd op 26 juli 1942 in het concentratiekamp Dachau vermoord.
De Jong ging gebukt onder deze zware last. Zij gezondheid liet al jaren te wensen over – hij had een zwak hart – en op 10 november 1942 kreeg hij een beroerte. Het herstel ging moeizaam en hij moest veel overlaten aan de staf van het bisdom, met name aan vicaris-generaal D. Huurderman en eerste secretaris J.A. Geerdinck. Hij bleef evenwel betrokken bij alle beslissingen.
Er zijn aanwijzingen dat hij in de loop van 1943 heeft geprobeerd paus Pius XII ertoe te bewegen om net zo scherp te protesteren tegen de vervolging van de joden als hij zelf had gedaan. De paus ging hier niet op in omdat hij wist welke represailles de uitspraken van de Nederlandse bisschoppen hadden veroorzaakt. Indirect heeft het optreden van De Jong dus eraan bijgedragen dat de paus zich nooit in zulke felle bewoordingen tegen de jodenvervolging heeft gekeerd.
Zijn principiële houding zorgde ervoor dat ‘IJzeren Jan’ de Jong tijdens en na de oorlog enorm gezag genoot binnen en ook buiten katholieke kring. Toen op 23 december 1945 bekend werd dat hij tot kardinaal zou worden benoemd, werd dat algemeen gezien als een blijk van grote waardering van de paus. Nog niet eerder was een aartsbisschop van Utrecht kardinaal geworden.
Na de oorlog herstelden de katholieke organisaties zich weer. Dat was ook de bedoeling geweest van De Jong. Tijdens de bezetting had hij intensief samengewerkt met de protestantse kerken en ook na de oorlog wees hij samenwerking met andersdenkenden niet af, maar dan wel vanuit katholieke organisaties. Voor alles moest de eenheid van de katholieken bewaard blijven. In mei 1953, tijdens een grootste manifestatie in De Galgenwaard in Utrecht, riep hij de Nederlandse katholieken nogmaals op om de eenheid te bewaren. De toespraak was tevoren opgenomen, want zijn gezondheid liet het niet meer toe dat hij zelf naar het stadion ging. Sinds 1951 had hij het bestuur van het aartsbisdom al overdragen aan de nieuwe hulpbisschop B.J. Alfrink. Kardinaal De Jong overleed op 8 september 1955.