Den hellige Johannes ble født ca 339 i Basta i Nedre Egypt. Han hadde tilnavnet Kolobos (lat: Colobus), som betyr «dverg» på gresk (Yoannis Pi Kolobos). Som 18-åring dro han ut i ørkenen ved Sketis (Wadi Natrun) sammen med en eldre bror for å bli eremitt. Som novise sto han under veiledning av Ammoes, og det fortelles at han ga sin elev ordre om å plante en tørr pinne i bakken og vanne den hver dag til den bar frukt. Dette gjorde han hver dag av lydighet, inntil pinnen det tredje året slo rot og bar frukt. Ammoes tok med frukten inn i kirken og delte den ut med ordene: «Ta og et lydighetens frukt». Men dette er svært trolig en historie som er laget i monastiske kretser for å illustrere prinsippet om lydighet. Historien fortelles også om en annen Johannes, fra Lycopolis, og den hører kanskje mer sannsynlig til ham. Johannes tok seg av Ammoes de siste 12 årene av hans liv, uten et ord til takk eller påskjønnelse inntil mesteren lå døende i 374, da han beskrev Johannes som «en engel og ikke et menneske».
Deretter ble Johannes en disippel av den hellige Poemen i Sketis. Resten av sine dager levde han et liv i lydighet, ydmykhet og askese. Han mente at monastisk perfeksjon består i å holde seg til sin celle og å hele tiden ha Gud nærværende i sitt sinn. Han var vel kjent og høyt aktet blant ørkenmunkene på 400-tallet, og fra 395 ga han undervisning om eremittlivet til den hellige Arsenius den Store, en tidligere hoffmann som ble munk, ved å behandle ham nesten med forakt.
Fra naturens side var Johannes heller snarsint og forfengelig, men tøylet seg og ble kjent for sin likevektighet og ydmykhet. Han var likegyldig til «nyheter» og utrolig distré, og han syntes ikke å ha noe begrep om tid. Det gikk mange morsomme historier om hvor distré han var. Men det er klart at hans manglende evne til å konsentrere seg om arbeidet han drev på med, også var en kilde til irritasjon for hans brødre, ikke minst for Arsenius.
I følge ørkenfedrenes tradisjon bygde Johannes et kloster nær Wadi al-Natrun for disiplene som hadde samlet seg rundt ham. Han ble sagt å ha bodd i «et hull», noe som ganske sikkert betyr en trang ravine eller hule, som området rundt klosteret er fullt av. Da noen berbere invaderte Sketis og herjet i området rundt år 400, flyktet Johannes til den andre siden av Nilen og slo seg til i Clysma på det vanskelig tilgjengelige Kolzim-fjellet ved Suez-bukten, et sted som ble hyllet av den hellige Antonius den Store.
Der døde han en gang på begynnelsen av 400-tallet, muligens i 409, og han var da rundt 70 år. Før han døde, ba brødrene om et siste budskap. Han ønsket ikke å bli husket som en viktig lærer, så hans siste ord ble sagt å ha vært: «Jeg fulgte aldri min egen vilje, og jeg lærte heller aldri bort til noen noe som jeg ikke først hadde praktisert selv».
Han hadde ry som en av de mest fremstående ørkenfedrene, og hans kult spredte seg raskt. Hans relikvier ble overført fra Clysma til hans eget kloster i 805. Ruinene av klosteret har blitt oppdaget og er nøyaktig identifisert. Hans minnedag er 17. oktober, men 15. september nevnes også. Hans livshistorie er kjent fra to kilder, en biografi skrevet av biskop Zacharias på slutten av 600-tallet og Apophthegmata Patrum, «Fedrenes utsagn». Men begge må brukes med forsiktighet, for det var mange munker ved navn Johannes og det er ikke alltid mulig å skjelne mellom dem.