Po projevu papeže Urbana začaly přípravy na Východě i na Západě. Císař Alexius, který nepochybně předpokládal shromáždění nějakých pomocných sil, si zřejmě brzy uvědomil, že bude muset zajistit a hlídat mnohem větší příliv bojovníků. Na Západě, když vůdci začali shromažďovat svá vojska, se ti, kdo přijali kříž, snažili získat peníze, často prodejem nebo zastavením majetku, a to jak na okamžitý nákup vybavení, tak na dlouhodobé potřeby cesty.
Když probíhaly přípravy, vyrazilo do Evropy několik méně organizovaných skupin rytířů a rolníků, obecně známých jako „lidová křížová výprava“. Nejznámější z nich, kterou dal dohromady pozoruhodný lidový kazatel Petr Poustevník a jeho společník Walter Sansavoir, dorazila do Konstantinopole poté, co způsobila značné nepokoje v Uhrách a Bulharsku. Alexius Petra srdečně přijal a doporučil mu, aby vyčkal příchodu hlavních křižáckých sil. Řadoví vojáci se však začali vzpouzet a 6. srpna 1096 byli převezeni přes Bospor. Zatímco Petr v Konstantinopoli žádal o další pomoc, bylo jeho vojsko přepadeno u Cibotu (křižáky nazývaného Civetot) a téměř zničeno Turky.
Kázání Petra Poustevníka v Německu inspirovalo další skupiny křižáků, kterým se rovněž nepodařilo dosáhnout Jeruzaléma. Jednu z těchto skupin vedl nechvalně proslulý hrabě Emicho a byla zodpovědná za sérii pogromů neboli masakrů Židů v několika rýnských městech v roce 1096. Tyto útoky, které jsou tradičně považovány za důležitý bod obratu ve vztazích mezi Židy a křesťany ve středověku – ve skutečnosti jsou často uváděny jako klíčový moment v dějinách antisemitismu – se odehrály nejprve ve Speyeru a poté s rostoucí krutostí ve Wormsu, Mohuči a Kolíně nad Rýnem. Židé v těchto městech často hledali a někdy i získali ochranu u biskupa nebo se marně ukrývali v místních domech a chrámech. Mnozí Židé, které křižáci donutili konvertovat, nebo zemřít, si zvolili smrt. Existují zprávy o tom, že Židé raději spáchali sebevraždu a dokonce zabili své děti, než aby konvertovali nebo se podrobili popravě křižáků. Ačkoli fanatismus tohoto druhu není v křesťanství ojedinělý, tyto masakry nezůstaly bez povšimnutí ani u ostatních křesťanů. Některé soudobé křesťanské zprávy jim skutečně připisovaly porážku lidové křížové výpravy. Po masakrech se křižáci přesunuli do Uher, kde byli poraženi uherským králem a utrpěli těžké ztráty. Emicho, který se možná nezúčastnil všech pogromů, uprchl a s hanbou se vrátil domů.
Hlavní křižácké síly, které vyrazily v srpnu 1096 podle Urbanových pokynů, se skládaly ze čtyř hlavních kontingentů. Menší, páté vojsko vedené Hugem z Vermandois, bratrem francouzského krále Filipa I., vyrazilo před ostatními, ale při plavbě přes Jadran z Bari do Dyrrhachia (dnešní Durrës v Albánii) ztroskotalo. Godfrey z Bouillonu, vůdce prvního velkého vojska, které se vydalo na cestu, a od roku 1087 vévoda Dolního Lotrinska, byl jediným významným knížetem z německého království, který se účastnil křížové výpravy, ačkoli on i jeho společníci mluvili převážně francouzsky. Spolu se svými bratry Eustachem a Baldwinem a příbuzným Baldwinem z Le Bourcq se Godfrey vydal pozemní cestou a bez nehod překročil Uhry. Trhy a zásoby byly zásobovány na byzantském území a až na několik drancování dosáhlo vojsko 23. prosince 1096 Konstantinopole bez vážnějších problémů.
Druhé vojsko zorganizoval Bohemond, Norman z jižní Itálie. Bohemond, syn Roberta Guiscarda, byl na známé půdě za Jadranem, kde bojoval se svým otcem, a Byzantinci se ho pochopitelně obávali. Když však 9. dubna 1097 dorazil do Konstantinopole, bylo mu 40 let a byl rozhodnutý se se svým bývalým nepřítelem výhodně dohodnout.
Třetí a největší vojsko shromáždil Raymond ze Saint-Gilles, hrabě z Toulouse. Ve svých 55 letech byl nejstarším a nejvýznamnějším z knížat na křížové výpravě a usiloval a možná i očekával, že se stane vůdcem celé výpravy. Doprovázel ho Adhémar, biskup z Le Puy, kterého papež jmenoval legátem křížové výpravy. Raymond vedl své stoupence, včetně řady nebojujících poutníků, které podporoval na vlastní náklady, přes severní Itálii, kolem ústí Jaderského moře a poté na jih na byzantské území. Toto početné vojsko způsobilo značné potíže v Dalmácii a střetlo se s byzantskými vojsky, když se blížilo k hlavnímu městu, kam Raymond dorazil 21. dubna.
Mezitím čtvrté vojsko pod vedením Roberta Flanderského překročilo Jadran z Brindisi. Roberta doprovázeli jeho bratranec Robert Normandský (bratr anglického krále Viléma II.) a Štěpán z Blois (zeť Viléma Dobyvatele). První křížové výpravy se nezúčastnil žádný král a převážně frankofonní účastníky začali muslimové nazývat Franky.
Přítomnost obrovských vojenských sil poblíž Konstantinopole, čítajících snad 4 000 jízdních rytířů a 25 000 pěšáků, představovala pro Alexia vážný problém a občas docházelo k nepořádkům. Císař, který byl nucen brát ohled na císařské zájmy, jež se, jak se brzy ukázalo, lišily od cíle křižáků, požadoval, aby každý vůdce křížové výpravy pod přísahou slíbil, že mu vrátí všechna dobytá území, která patřila říši před tureckými nájezdy, a že mu bude přísahat věrnost, dokud křižáci zůstanou na jeho území. Vzhledem k tomu, že nikdy neexistoval plán, že by křížová výprava překročila vzdálené hranice staré římské říše, fakticky by tím císaři připadla všechna dobytá území. Pouze Bohemond dobrovolně složil císařovu přísahu. Ostatní tak učinili pod nátlakem a Raymond složil pouze vlažnou přísahu, že bude respektovat císařův majetek a osobu. Přesto se Raymond a Alexius stali dobrými přáteli a Raymond zůstal po celou dobu křížové výpravy nejsilnějším obhájcem císařových práv.