Urbán pápa beszédét követően mind keleten, mind nyugaton megkezdődtek az előkészületek. Alexius császár, aki kétségtelenül számított valamiféle segédhadsereg összegyűjtésére, nyilvánvalóan hamarosan rájött, hogy sokkal több harcos beáramlásáról kell gondoskodnia és felügyelnie. Nyugaton, ahogy a vezérek elkezdték összegyűjteni seregeiket, a keresztet vállalók igyekeztek pénzt szerezni, gyakran ingatlanok eladásával vagy jelzáloggal, mind a felszerelés azonnali megvásárlására, mind az út hosszú távú szükségleteinek fedezésére.
Amíg az előkészületek folytak, lovagok és parasztok több, kevésbé szervezett csapata, közismert nevén a “nép keresztes hadjárata” elindult Európán keresztül. Ezek közül a leghíresebb, amelyet egy figyelemre méltó népi prédikátor, Remete Péter és társa, Walter Sansavoir hozott össze, elérte Konstantinápolyt, miután Magyarországon és Bulgáriában jelentős zűrzavart okozott. Alexius szívélyesen fogadta Pétert, és azt tanácsolta neki, hogy várja meg a fő keresztes haderő megérkezését. Ám a sorosok egyre engedetlenebbek lettek, és 1096. augusztus 6-án átkeltek a Boszporuszon. Miközben Péter Konstantinápolyban további segítséget kért, seregét Cibotusnál (a keresztesek Civetotnak nevezték) rajtaütötték, és a törökök szinte teljesen megsemmisítették.
Eremita Péter németországi prédikációja más keresztes lovagcsoportokat is inspirált, akiknek szintén nem sikerült elérniük Jeruzsálemet. Az egyik ilyen csoportot a hírhedt Emicho gróf vezette, és 1096-ban több rajnai városban zsidók ellen elkövetett pogromok, vagyis mészárlások sorozatáért volt felelős. Ezeket a támadásokat hagyományosan a középkori zsidó és keresztény kapcsolatok fontos fordulópontjaként tartják számon – sőt, gyakran az antiszemitizmus történetének egyik sarkalatos pontjaként említik -, először Speyerben, majd egyre kegyetlenebbül Wormsban, Mainzban és Kölnben. E városok zsidói gyakran a püspök védelmét keresték, és néha meg is kapták, vagy hiába kerestek menedéket a helyi otthonokban és templomokban. A keresztes lovagok kényszerítették őket, hogy térjenek át vagy haljanak meg, és sok zsidó a halált választotta. Vannak beszámolók arról, hogy zsidók inkább öngyilkosságot követtek el, sőt még gyermekeiket is megölték, minthogy áttérjenek vagy alávessék magukat a keresztes lovagok általi kivégzésnek. Bár az ilyen jellegű buzgalom nem csak a kereszténységre jellemző, ezek a mészárlások még keresztény társaik számára sem maradtak észrevétlenek. Sőt, egyes korabeli keresztény beszámolók ezeknek tulajdonították a népi keresztes hadjárat vereségét. A mészárlások után a keresztesek Magyarországra vonultak, ahol a magyar király megfutamította őket, és súlyos veszteségeket szenvedtek. Emicho, aki talán nem vett részt az összes pogromban, elmenekült, és szégyenszemre hazatért.
A fő keresztes haderő, amely 1096 augusztusában indult el Urbán utasításának megfelelően, négy nagyobb kontingensből állt. Egy kisebb, ötödik haderő, amelyet Vermandois-i Hugó, I. Fülöp francia király testvére vezetett, a többiek előtt indult el, de hajótörés miatt lecsökkent, miközben átkelt az Adrián Bariból Dyrrhachiumba (ma Durrës, Albánia). Bouilloni Godfrey, az elsőként induló nagy sereg vezetője és 1087 óta Alsó-Lotaringia hercege volt az egyetlen jelentős herceg a Német Királyságból, aki részt vett a keresztes hadjáratban, bár ő és társai nagyrészt franciául beszéltek. Testvéreivel, Eusztázzal és Baldwinnal, valamint egy rokonával, Le Bourcq-i Baldwinnal együtt Godfrey a szárazföldi utat választotta, és incidensek nélkül átkelt Magyarországon. A piacokat és az ellátást bizánci területen biztosították, és némi fosztogatástól eltekintve a sereg 1096. december 23-án komolyabb problémák nélkül érte el Konstantinápolyt.
Egy második haderőt a dél-itáliai normann Bohemond szervezett. Robert Guiscard fia, Bohemond ismerős terepen volt az Adrián túl, ahol apjával együtt harcolt, és érthető módon féltek tőle a bizánciak. Azonban 40 éves volt, amikor 1097. április 9-én Konstantinápolyba érkezett, és elhatározta, hogy jövedelmezően megegyezik egykori ellenségével.
A harmadik és legnagyobb sereget Saint-Gilles-i Raymond, Toulouse grófja állította össze. 55 évével ő volt a keresztes hadjárat legidősebb és legkiemelkedőbb fejedelme, és arra törekedett, sőt talán számított is rá, hogy ő lesz az egész expedíció vezetője. Elkísérte őt Adhémar, Le Puy püspöke, akit a pápa a keresztes hadjárat legátusává nevezett ki. Raymond a követőit, köztük számos nem harcoló zarándokot, akiket saját költségén támogatott, Észak-Itálián keresztül, az Adriai-tenger feje körül, majd dél felé, bizánci területre vezette. Ez a nagy létszámú sereg jelentős gondot okozott Dalmáciában, és összecsapott a bizánci csapatokkal, amikor megközelítette a fővárost, ahová Raymond április 21-én érkezett meg.
Eközben a negyedik sereg, Flandriai Róbert vezetésével, Brindisi felől átkelt az Adrián. Róbertet unokatestvére, Normandiai Róbert (II. Vilmos angol király testvére) és Blois-i István (Hódító Vilmos veje) kísérte. Az első keresztes hadjáratban egyetlen király sem vett részt, és a túlnyomórészt francia nyelvű résztvevőket a muszlimok frankok néven ismerték.
A hatalmas katonai erők – talán 4000 lovas lovag és 25 000 gyalogos – jelenléte Konstantinápoly közelében komoly problémát jelentett Alexius számára, és időnként zavargásokra került sor. A császár kénytelen volt figyelembe venni a császári érdekeket, amelyek, mint hamarosan kiderült, eltértek a keresztesek céljától, ezért minden keresztes vezetőnek eskü alatt kellett megígérnie, hogy visszaad neki minden meghódított területet, amely a török invázió előtt a birodalomhoz tartozott, és hűséget esküdött neki, amíg a keresztesek az ő területén tartózkodnak. Mivel soha nem volt tervben, hogy a keresztes hadjárat a régi Római Birodalom távoli határain túlra menjen, ez gyakorlatilag minden hódítást a császárnak adott volna. Csak Bohemond tette le önként a császári esküt. A többiek kényszer hatására tették, Raymond pedig csak langyos esküt tett, hogy tiszteletben tartja a császár tulajdonát és személyét. Ennek ellenére Raymond és Alexius jó barátok lettek, és Raymond maradt a császár jogainak legerősebb védelmezője a keresztes hadjárat során.