După discursul Papei Urban, pregătirile au început atât în Est cât și în Vest. Împăratul Alexius, care anticipase fără îndoială adunarea unui fel de forță auxiliară, se pare că și-a dat seama curând că va trebui să asigure și să supravegheze un aflux mult mai mare de războinici. În Occident, pe măsură ce liderii au început să-și adune armatele, cei care au luat crucea au căutat să strângă bani, adesea prin vânzarea sau ipotecarea proprietăților, atât pentru achiziționarea imediată de echipament, cât și pentru nevoile pe termen lung ale călătoriei.
În timp ce pregătirile erau în curs de desfășurare, mai multe grupuri mai puțin organizate de cavaleri și țărani, cunoscute în mod obișnuit sub numele de „Cruciada Poporului”, au pornit prin Europa. Cea mai faimoasă dintre acestea, reunită de un remarcabil predicator popular, Petru Pustnicul, și de asociatul său Walter Sansavoir, a ajuns la Constantinopol după ce a provocat tulburări considerabile în Ungaria și Bulgaria. Alexius l-a primit cordial pe Petru și l-a sfătuit să aștepte sosirea forței principale a Cruciadei. Dar rândurile au devenit din ce în ce mai indisciplinate și, la 6 august 1096, au fost transportate cu feribotul peste Bosfor. În timp ce Petru se afla la Constantinopol solicitând ajutor suplimentar, armata sa a fost prinsă într-o ambuscadă la Cibotus (numită Civetot de către cruciați) și aproape anihilată de turci.
Predicarea lui Petru Pustnicul în Germania a inspirat alte grupuri de cruciați, care, de asemenea, nu au reușit să ajungă la Ierusalim. Unul dintre aceste grupuri a fost condus de faimosul conte Emicho și a fost responsabil pentru o serie de pogromuri, sau masacre, ale evreilor din mai multe orașe renane în 1096. Recunoscute în mod tradițional ca fiind un punct de cotitură important în relațiile dintre evrei și creștini în Evul Mediu – de fapt, este adesea citat ca un moment crucial în istoria antisemitismului – aceste atacuri au avut loc mai întâi în Speyer și apoi, cu o ferocitate din ce în ce mai mare, în Worms, Mainz și Köln. Evreii din aceste orașe au căutat adesea, și uneori au primit, protecția episcopului sau s-au refugiat zadarnic în casele și templele locale. Forțați de cruciați să se convertească sau să moară, mulți evrei au ales moartea. Există relatări despre evrei care s-au sinucis și chiar și-au ucis copiii, în loc să se convertească sau să se supună execuției din partea cruciaților. Deși fanatismul de această natură nu este specific creștinismului, aceste masacre nu au trecut neobservate nici măcar de către ceilalți creștini. Într-adevăr, unele relatări creștine contemporane le-au atribuit înfrângerea Cruciadei Poporului. După masacre, cruciații s-au deplasat în Ungaria, unde au fost alungați de regele maghiar și au suferit pierderi grele. Emicho, care este posibil să nu fi participat la toate pogromurile, a scăpat și s-a întors acasă în dizgrație.
Forța principală a Cruciadei, care a plecat în august 1096, așa cum a ordonat Urban, a fost formată din patru contingente majore. O a cincea forță, mai mică, condusă de Hugh de Vermandois, fratele regelui Filip I al Franței, a plecat înaintea celorlalte, dar a fost redusă de un naufragiu în timp ce traversa Adriatica de la Bari la Dyrrhachium (astăzi Durrës, Albania). Godfrey de Bouillon, conducătorul primei mari armate care a plecat și duce de Lorena Inferioară din 1087, a fost singurul prinț important din regatul german implicat în cruciadă, deși el și asociații săi vorbeau în mare parte franceza. Alături de frații săi, Eustace și Baldwin, și de o rudă, Baldwin de Le Bourcq, Godfrey a luat calea terestră și a traversat Ungaria fără incidente. Piețele și proviziile au fost aprovizionate pe teritoriul bizantin și, cu excepția unor jafuri, armata a ajuns la Constantinopol fără probleme serioase la 23 decembrie 1096.
O a doua forță a fost organizată de Bohemond, un normand din sudul Italiei. Fiu al lui Robert Guiscard, Bohemond se afla pe un teren familiar de cealaltă parte a Adriaticii, unde luptase cu tatăl său și era de înțeles că era temut de bizantini. Cu toate acestea, avea 40 de ani când a sosit la Constantinopol la 9 aprilie 1097 și era hotărât să ajungă la înțelegeri profitabile cu fostul său inamic.
Cea de-a treia și cea mai mare armată a fost adunată de Raymond de Saint-Gilles, contele de Toulouse. La vârsta de 55 de ani, el era cel mai în vârstă și cel mai proeminent dintre prinții din cruciadă, și aspira și poate se aștepta să devină liderul întregii expediții. El a fost însoțit de Adhémar, episcop de Le Puy, pe care papa îl numise legatul pentru cruciadă. Raymond și-a condus adepții, inclusiv un număr de pelerini necombatanți pe care i-a sprijinit pe cheltuiala sa, prin nordul Italiei, în jurul capului Mării Adriatice și apoi spre sud, în teritoriul bizantin. Acest corp mare a provocat probleme considerabile în Dalmația și s-a ciocnit cu trupele bizantine în timp ce se apropia de capitală, unde Raymond a ajuns pe 21 aprilie.
Între timp, a patra armată, sub comanda lui Robert de Flandra, a traversat Adriatica de la Brindisi. Însoțitorii lui Robert erau vărul său Robert de Normandia (fratele regelui William al II-lea al Angliei) și Ștefan de Blois (ginerele lui William Cuceritorul). Niciun rege nu a luat parte la Prima Cruciadă, iar participanții, predominant francofoni, au ajuns să fie cunoscuți de musulmani sub numele de franci.
Prezența în apropierea Constantinopolului a unor forțe militare masive, numărând probabil 4.000 de cavaleri călare și 25.000 de infanteriști, a reprezentat o problemă serioasă pentru Alexius, iar ocazional au existat dezordini. Forțat să ia în considerare interesele imperiale, care, a devenit curând evident, erau diferite de obiectivul cruciaților, împăratul a cerut fiecărui lider al cruciadei să promită sub jurământ că îi va restitui orice teritoriu cucerit care aparținuse imperiului înainte de invaziile turcești și că îi va jura loialitate cât timp cruciații vor rămâne pe domeniul său. Deoarece nu a existat niciodată vreun plan ca Cruciada să depășească granițele îndepărtate ale vechiului Imperiu Roman, acest lucru ar fi dat efectiv toate cuceririle împăratului. Doar Bohemond a depus de bunăvoie jurământul împăratului. Ceilalți au făcut-o sub constrângere, iar Raymond a depus doar un jurământ călduț de a respecta proprietatea și persoana împăratului. În ciuda acestui fapt, Raymond și Alexius au devenit buni prieteni, iar Raymond a rămas cel mai puternic apărător al drepturilor împăratului pe tot parcursul cruciadei.