Den hellige Gregor ble født ca 276 i Arianz, et ensomt beliggende landgods ved Nazianz (Nazianzos) i Kappadokia; i dag Nenizi ved Aksaray i Sentral-Tyrkia. Han innehadde høye statlige embeter og tilhørte Hypsistarierne, et trossamfunn som hadde en lære sammensatt av elementer fra hedendommen og jødedommen. De dyrket én Gud (hypsistos = den Høyeste) som en blanding av Zevs og Jahve, de æret ilden og lyset, overholdt sabbats- og matreguleringene, men avviste offer og omskjæring.
Men Gregor ble i 325 omvendt av sin kone, den hellige Nonna, og ble døpt. Men dermed mistet han sine statlige embeter og sin vennekrets. De hadde tre barn, som alle er helgener: den hellige Gregor av Nazianz den yngre, Caesarius av Nazianz og Gorgonia.
Gregor den eldre ble biskop av Nazianz ca 328. Han forvandlet i løpet av få år den tidligere urolige menigheten til en fredens øy. I Nazianz lot han bygge en katedral i oktogon-form som fikk stor betydning. Etter konsilet i Nikea i 325, som fordømte arianismen (at Kristus ikke er Gud, men en Guds skapning), tvang keiseren på en synode i Rimini i 359 gjennom en union mellom tilhengerne av Nikea-konsilet og arianerne, og de vestlige biskopene ble presset til å akseptere en ariansk trosbekjennelse. Gregor sluttet seg til vedtaket fra Rimini, men kom da i strid med de kappadokiske bispedømmene og deres ortodokse biskoper.
Men han ble brakt tilbake til ortodoksien i 361 av sin mer begavede sønn Gregor den yngre, som det året kom tilbake fra sin venn Basilios' kloster for å hjelpe sin far, som nå var over åtti år, med å styre hans bispedømme og eiendommer. Mot hans vilje ordinerte Gregor den eldre sønnen til prest ca år 362, og i panikk flyktet han til Basilios og ble der i ti uker. Men han forsto snart det tåpelige i flukten, og til slutt vendte han tilbake til sine nye plikter.
Basilios den Store ble erkebiskop av Caesarea i 370. Omkring år 372 konsekrerte han den motvillige Gregor den yngre til biskop av Sasima. Men i stedet for å dra til sitt bispedømme, som han aldri kom til å besøke, virket Gregor som hjelpebiskop hos sin far i Nazianz. Dette forårsaket en uoverensstemmelse mellom de to vennene. Gregor fortsatte som hjelpebiskop til farens død, og administrerte deretter setet til en ny biskop kunne utnevnes.
Han døde i 374, nesten hundre år gammel, etter 45 år som biskop. Hans minnedag er 1. januar. Han fremstilles som olding med grått eller hvitt hår og skjegg, alltid sammen med sønnen Gregor den yngre.