Født: Józef Kowalczyk ble født den 28. august 1938 i Jadowniki Mokre i bispedømmet Tarnów i Polen. Han studerte ved presteseminaret i Olsztyn. Han ble diakonviet den 18. mars 1961 av biskop Tomasz Wilczynski, hjelpebiskop av Lublin.
Prest: Han ble presteviet den 14. januar 1962 for bispedømmet Warmia (Ermland) av hjelpebiskop Józef Drzazga av Gniezno, senere hjelpebiskop (1967-72) og biskop (1972-78) av Warmia. Etter noen år som kapellan i dette bispedømmet forsatte han sine teologiske studier ved det katolske universitetet i Lublin og deretter ved det pavelige universitetet Gregoriana i Roma. Der tok han i 1968 doktorgraden i kirkerett. Deretter trådte han inn i det pavelige diplomatis tjeneste og arbeidet i Rotaen og som arkivar. Mellom 1969 og 1978 arbeidet han i Gudstjenestekongregasjonen. Fra 1976 til 1978 fulgte han Vatikanets spesialnuntius Luigi Poggi på hans reiser til Polen. Fra 1978 til 1989 var han leder for den polske seksjonen i Statssekretariatet i Vatikanet.
Biskop: Da Den hellige Stol og Folkerepublikken Polen i 1989 opprettet fulle diplomatiske forbindelser, ble Kowalczyk den 26. august 1989 utnevnt av sin personlige venn, den ærverdige pave Johannes Paul II (1978-2005), til titularerkebiskop av Heraclea og til den første apostoliske nuntius i Polen etter Andre verdenskrig. Han ble bispeviet den 20. oktober 1989 av pave Johannes Paul II. Medkonsekratorer var kardinalene Edward Idris Cassidy og Francesco Colasuonno. I Warszawa forhandlet han med myndighetene om et konkordat, som ble undertegnet i 1993 og i 1998 ratifisert av det polske parlamentet. Som nuntius koordinerte han også pavene Johannes Paul IIs og Benedikt XVIs pastoralreiser til Polen.
Lørdag den 8. mai 2010 utnevnte pave Benedikt XVI den 72-årige Józef Kowalczyk til ny erkebiskop av Gniezno og dermed til polsk primas. Han etterfulgte erkebiskop Henryk Józef Muszynski som samtidig fikk innvilget sin avskjedssøknad av paven.
Tittelen primas av Polen ble gitt til erkebiskopen av Gniezno i 1418 av pave Martin V (1417-31) og stadfestet i 1515 av pave Leo X (1513-21). Siden 1600 har alle polske primaser, selv om de ikke er kardinaler, rett til å bære en kardinals røde zucchetto (kalott), et privilegium som ble stadfestet av pave Benedikt XIV (1740-58) i 1749. Fra 1821 til 1946 var erkebispedømmet Gniezno i personalunion med erkebispedømmet Poznan, og fra 1946 til 1992 i personalunion med erkebispedømmet Warszawa. Ved nyordningen av de polske kirkeprovinsene den 25. mars 1992 oppløste pave Johannes Paul II personalunionen mellom erkebispedømmene Gniezno og Warszawa.
Kardinal Józef Glemp ble erkebiskop av Warszawa, mens Henryk Muszynski ble erkebiskop av Gniezno. Paven stadfestet at tittelen primas av Polen skulle forbli knyttet til den hellige Adalberts arv i erkebispedømmet Gniezno, men han bestemte at kardinal Glemp skulle fortsette å bære tittelen primas av Polen. Kardinal Glemp gikk av som erkebiskop av Warszawa i mars 2007, men pave Benedikt lot ham beholde tittelen som polsk primas til sin åttiårsdag. Da kardinal Glemp fylte åtti år den 18. desember 2009, gikk man tilbake til «normalordningen» som ble bestemt i 1992, at erkebiskopen av Gniezno er polsk primas. Erkebiskop Muszynski var da imidlertid over 76 år gammel, og han ble dermed polsk primas i knapt fem måneder.