Den hellige Johannes ble født i Konstantinopel av velstående foreldre. Men han rømte hjemmefra, og i en alder av 12 år ble han munk i Gomon ved Bosporos hos de «søvnløse» munkene (akoimetoi) som var grunnlagt av den hellige Alexander Akimetes. De ble kalt søvnløse fordi de sang det hellige officiet på skift uten opphold.
Etter seks år vendte Johannes hjem forkledd som tigger, men hans utseende var så forandret at foreldrene ikke kjente ham igjen. Han fikk bo utenfor døren til foreldrenes hjem i en liten hytte - på gresk Kalybe [Kaluby], derfor hans tilnavn Johannes Kalabytes (Calabytes, Calybites, Calybita). Der bodde han på deres nåde til sin død ca 450 uten å bli gjenkjent av dem. Til slutt avslørte han sin identitet for moren, som gikk med på at han kunne gravlegges under hytten. Senere ble det bygd en kirke over den, og på et senere tidspunkt ble hans relikvier flyttet til Roma. Hans minnedag er 15. januar. Hans navn står i Martyrologium Romanum.
Den samme historien kjenner vi også fra andre helgenlegender, for eksempel om den hellige Alexius, den hellige Onesimos og en eller to andre. Historien om Johannes er kanskje mer et eksempel på en type snarere enn et individ. Johannes fremstilles som en tigger med evangeliet i hånden. På noen bilder avslører han sin identitet for foreldrene på dødsleiet.