Den hellige Nilus (Neilos) den Eldre ble født en gang på 300-tallet i Ancyra i Galatia i Lilleasia (nå Ankara i Tyrkia). Mens han var student i Konstantinopel, ble han en venn og disippel av den hellige Johannes Krysostomos, som var byens erkebiskop (patriark) mellom 397 og 404.
Da han vendte tilbake til hjembyen Ancyra, grunnla han et kloster i nærheten, hvor han ble abbed eller arkimandritt - noen kilder beskriver ham som biskop. Der skrev han de verkene som han er berømt for. De var ment for hans munker, og er for det meste moralske og asketiske avhandlinger. Han førte også en omfattende korrespondanse, og mange av hans brev er bevart. Disse indikerer at han var en asketisk mann med et dypt indre liv, og at folk fra alle samfunnslag kom for å motta åndelig veiledning av ham. Han kaltes også Nilus den Vise.
Han skrev blant annet to brev til keiser Arkadios og refset ham for å ha forvist Johannes Krysostomos fra Konstantinopel. I et annet brev, adressert til en prefekt ved navn Olympiodorus, som nettopp hadde bygd en kirke, gjorde han kort prosess med ideen om at veggene i kirken kunne utsmykkes med mosaikker av fugler, dyr, jaktscener og lignende i tillegg til hellige emner. Olympiodorus får beskjed om at han skal holde seg til scener fra Det gamle og Det nye Testamentet og avbilde ett kors, nemlig i koret.
Han døde ca 430. Hans minnedag er 12. november og hans navn står i Martyrologium Romanum. I lang tid ble han feilaktig identifisert med den samtidige Nilus av Sinai, og det er litt uklart hvem av dem som var en venn av Johannes Krysostomos.