På Karmel bodde i følge 2. Kongebok profeten Elia (Elijah) med sine disipler, og der grunnla han etter tradisjonen et kloster for dem, hvor de gjennom bønn og bot skulle forberede ankomsten av en ren jomfru som skulle føde Messias. Under korsfarertiden på 1100-tallet var den hellige presten Berthold med korsfarerridderne fra Calabria i Italia. Han fant ruinene etter Elia-klosteret og bosatte seg der «ved Elias brønn» sammen med ti likesinnede rundt 1155. Antallet eremitter rundt Mariakapellet som Berthold bygde på stedet, vokste stadig.
Berthold døde rundt 1195 og ble etterfulgt som abbed av den hellige Brocard. Det var under hans styre de 18-årige tvillingbrødrene i 1203 trådte inn i karmelklosteret, som de så på som en bro mellom den kristne og den jødiske tradisjonen. Etter sin prestevielse vandret Angelus gjennom hele Palestina og forkynte evangeliet. Snart ble han berømt for sine mange helbredelser. Da han hadde vendt tilbake til klosteret, fikk han ikke bli der og vie seg til et kontemplativt bønneliv.
Brocard hadde nettopp fått utarbeidet en streng ordensregel (formula vitae) for karmelklosteret av den hellige patriarken Albert av Jerusalem, som i hovedsak bygde på Augustins regel. Angelus ble i 1209 sendt med regelboken til Roma for å få den stadfestet av paven. Regelen ble godkjent av pave Honorius III i 1226, og dermed var Karmelittordenen født, Ordo Fratrum Beatae Mariae Virginis de Monte Carmelo – OCarm. Snart kunne ordenen begynne sin raske utbredelse over hele Europa.
Angelus ble nå sendt av sine overordnede til Sicilia, der en elitær sekt som ble kalt patarini hadde stelt til store bekymringer for Kirken. Patarini hadde sitt navn fra en reformbevegelse på 1000-tallet, men fra slutten av 1100-tallet var navnet gått over til å bli en betegnelse på kjetterske bevegelser generelt. Et vanligere navn på disse kjetterne er katarer.
De var nært beslektet med de franske albigenserne, som lærte en gnostisk dualisme: Det gamle Testamentets Gud var det onde prinsipp som hadde skapt materien, mens Det nye Testamentets Gud hadde skapt den gode, åndelige verden. Maria var ikke et menneske, men en engel, og Jesus levde på jorden i en menneskekropp. At denne læren stred mot den kristne tro, var åpenbart. Hittil var det bare de lærde dominikanerne som hadde bekjempet dem, og de hadde fått sin første martyr, den hellige Peter av Verona (Peter Martyr), som var myrdet av katarene i Nord-Italia.
Nå skulle den dypt åndelige karmelitten Angelus hjelpe til med å omvende de villfarne. Han begynte sin forkynnelsesvirksomhet i Licata (Leocata) på Sicilia. Han overbeviste mer med sitt eksempel enn med ord, og mange vendte tilbake til Kirken, blant dem 200 jøder i Palermo. Men da han offentlig refset Berengar (Berengarius), en av områdets mektige som levde et dårlig liv og som av taktiske grunner hadde støttet kjetterne, var hans skjebne beseglet. Da han etter en messe skulle forlate sakristiet i kirken St. Jakob, ventet fem leiemordere på ham og drepte ham med sverd. Dødelig såret falt han på kne og ba for alle mennesker, spesielt sine mordere. En annen versjon sier at han ble bundet til et tre og skutt med piler.
I følge pålitelige kilder ble han myrdet av vantro i første halvdel av 1200-tallet, men kildene strides om det nøyaktige tidspunktet. En kilde skriver at det skjedde den 5. mai 1255, men de fleste mener det skjedde i 1220 (1225?). Det ble tidlig bygd en kirke i Licata på stedet hvor han ble myrdet, og der ble hans legeme plassert. Først i 1632 ble hans relikvier flyttet til karmelittenes kirke. Angelus' kult spredte seg gjennom hele karmelittordenen og blant folket. Han ble gjort til skytshelgen for mange steder på Sicilia. Selv i moderne tid ber mange om hans forbønn.
Hans minnedag er dødsdagen 5. mai og hans navn står i Martyrologium Romanum. Hans kult har eksistert i karmelittordenen siden 1456, og i 1584 ble den offentlig anerkjent. Han fremstilles alltid med attributter som henviser til hans martyrium, enten dolk eller sverd. Ofte er også hans hode eller legeme også gjennomboret av en sabel eller et sverd. Han kalles også Angelus av Jerusalem eller Angelus karmelitten.
Femten datterkommuniteter ble grunnlagt i Palestina, men i 1238 ble de fleste av brødrene tvunget til å flytte på grunn av sarasenernes invasjoner. (Sarasenere var middelalderens betegnelse på muslimer; det kommer antakelig av et arabisk ord som betyr «de fra øst».) De flyttet til Kypros, Sicilia, Marseille og Valenciennes. Klosteret på Karmelberget besto til 1291, da beboerne ble massakrert og bygningene brent ned.
Allerede i 1245 kunne karmelittene holde sitt første generalkapittel i Aylesford i Kent i England. Der valgte de til sin første ordensgeneral engelskmannen Simon Stock (d. 1265), som før sin inntreden i ordenen hadde vært eremitt og levd et usedvanlig strengt liv. Han ledet ordenen med klokskap, endret den til en tiggerorden (godkjent av pave Innocent IV i 1247) og bidro til at den raskt bredte seg ut over hele Europa. Den ble de til en av de store ordenene i senmiddelalderen, stadig under beskyttelse av Vår Frue av Karmelberget. Den er senere splittet i to grener, de ureformerte («skodde») og de strenge uskodde barfot-karmelittene (OCD).