Na de toespraak van paus Urbanus begonnen de voorbereidingen zowel in het Oosten als in het Westen. Keizer Alexius, die ongetwijfeld had geanticipeerd op het bijeenroepen van een soort hulptroepen, realiseerde zich blijkbaar al snel dat hij een veel grotere toestroom van strijders zou moeten voorzien en controleren. Toen in het Westen de leiders hun legers begonnen samen te stellen, probeerden degenen die het kruis aanvaardden geld in te zamelen, vaak door bezittingen te verkopen of te verhypothekeren, zowel voor de onmiddellijke aankoop van uitrusting als voor de langetermijnbehoeften van de reis.
Tijdens de voorbereidingen trokken verschillende minder georganiseerde groepen ridders en boeren, algemeen bekend als de “Kruistocht van het Volk”, door Europa. De beroemdste, bijeengebracht door een opmerkelijke populaire prediker, Petrus de Kluizenaar, en zijn metgezel Walter Sansavoir, bereikte Constantinopel na aanzienlijke wanorde te hebben veroorzaakt in Hongarije en Bulgarije. Alexius ontving Petrus hartelijk en adviseerde hem te wachten op de komst van de hoofdmacht van de kruistocht. Maar de troepen werden onhandelbaar en op 6 augustus 1096 werden zij over de Bosporus overgezet. Terwijl Petrus in Constantinopel was om extra hulp te vragen, liep zijn leger bij Cibotus (door de kruisvaarders Civetot genoemd) in een hinderlaag en werd het bijna vernietigd door de Turken.
De prediking van Petrus de Kluizenaar in Duitsland inspireerde andere groepen kruisvaarders, die er evenmin in slaagden Jeruzalem te bereiken. Een van deze groepen werd geleid door de beruchte graaf Emicho en was verantwoordelijk voor een reeks pogroms, of massamoorden, op Joden in verschillende Rijnlandse steden in 1096. Deze aanvallen, die traditioneel worden beschouwd als een belangrijk keerpunt in de joodse en christelijke verhoudingen in de Middeleeuwen – het wordt zelfs vaak genoemd als een scharniermoment in de geschiedenis van het antisemitisme – vonden eerst plaats in Speyer en vervolgens met toenemende wreedheid in Worms, Mainz, en Keulen. De Joden van deze steden zochten, en kregen soms, bescherming van de bisschop of zochten tevergeefs hun toevlucht in plaatselijke huizen en tempels. Gedwongen door de kruisvaarders om zich te bekeren of te sterven, kozen veel Joden voor de dood. Er zijn verslagen van Joden die zelfmoord pleegden en zelfs hun kinderen doodden in plaats van zich te bekeren of zich te onderwerpen aan de executie door de kruisvaarders. Hoewel een dergelijke fanatisme niet uniek is voor het christendom, bleven deze slachtpartijen zelfs bij christelijke medeburgers niet onopgemerkt. In sommige hedendaagse christelijke verslagen wordt de nederlaag van de kruistocht van het volk zelfs aan hen toegeschreven. Na de slachtpartijen trokken de kruisvaarders verder naar Hongarije, waar zij door de Hongaarse koning werden verpletterd en zware verliezen leden. Emicho, die wellicht niet aan alle pogroms had deelgenomen, ontsnapte en keerde in schande naar huis terug.
De hoofdmacht van de kruisvaarders, die in augustus 1096 vertrok zoals Urbanus had opgedragen, bestond uit vier grote contingenten. Een kleinere, vijfde troepenmacht, geleid door Hugh van Vermandois, broer van koning Philips I van Frankrijk, vertrok eerder dan de anderen, maar werd gereduceerd door schipbreuk tijdens de oversteek van de Adriatische Zee van Bari naar Dyrrhachium (nu Durrës, Albanië). Godfried van Bouillon, leider van het eerste grote leger dat vertrok en hertog van Neder-Lotharingen sinds 1087, was de enige grote prins uit het Duitse koninkrijk die deelnam aan de kruistocht, hoewel hij en zijn metgezellen grotendeels Frans spraken. Samen met zijn broers, Eustace en Baldwin, en een bloedverwant, Baldwin van Le Bourcq, nam Godfried de route over land en doorkruiste Hongarije zonder incidenten. Markten en voorraden werden bevoorraad op Byzantijns grondgebied, en afgezien van wat plunderingen bereikte het leger Constantinopel zonder ernstige problemen op 23 december 1096.
Een tweede troepenmacht werd georganiseerd door Bohemond, een Normandiër uit Zuid-Italië. Als zoon van Robert Guiscard bevond Bohemond hij zich op bekend terrein aan de overkant van de Adriatische Zee, waar hij met zijn vader had gevochten en waar hij begrijpelijkerwijs gevreesd werd door de Byzantijnen. Hij was echter 40 jaar oud toen hij op 9 april 1097 in Constantinopel aankwam, en vastbesloten om met zijn voormalige vijand tot een voordelig vergelijk te komen.
Het derde en grootste leger werd samengesteld door Raymond van Saint-Gilles, de graaf van Toulouse. Met zijn 55 jaar was hij de oudste en meest vooraanstaande prins van de kruistocht, en hij wilde en verwachtte misschien wel de leider van de hele expeditie te worden. Hij werd vergezeld door Adhémar, bisschop van Le Puy, die door de paus was benoemd als legaat voor de kruistocht. Raymond leidde zijn volgelingen, waaronder een aantal niet-strijdende pelgrims die hij op eigen kosten ondersteunde, dwars door Noord-Italië, rond de kop van de Adriatische Zee, en vervolgens zuidwaarts naar Byzantijns grondgebied. Deze grote troepenmacht veroorzaakte aanzienlijke moeilijkheden in Dalmatië en kwam in botsing met Byzantijnse troepen toen het de hoofdstad naderde, waar Raymond op 21 april aankwam.
Tussen was het vierde leger, onder leiding van Robert van Vlaanderen, vanuit Brindisi de Adriatische Zee overgestoken. Robert werd vergezeld door zijn neef Robert van Normandië (broer van koning Willem II van Engeland) en Stefanus van Blois (de schoonzoon van Willem de Veroveraar). Geen koning nam deel aan de Eerste Kruistocht, en de overwegend Frans sprekende deelnemers werden door de Moslims bekend als Franken.
De aanwezigheid in de buurt van Constantinopel van enorme militaire troepen, misschien wel 4.000 bereden ridders en 25.000 infanteristen, vormde een ernstig probleem voor Alexius, en er heerste af en toe wanorde. Gedwongen om rekening te houden met de keizerlijke belangen, die, zo werd al snel duidelijk, verschilden van het doel van de kruisvaarders, eiste de keizer van elke kruisvaarder dat hij onder ede zou beloven hem alle veroverde gebieden terug te geven die vóór de Turkse invallen tot het keizerrijk hadden behoord en trouw aan hem te zweren zolang de kruisvaarders in zijn domein bleven. Aangezien er nooit enig plan was geweest voor de kruistocht om verder te gaan dan de verafgelegen grenzen van het oude Romeinse Rijk, zou dit in feite alle veroveringen aan de keizer geven. Alleen Bohemond legde vrijwillig de eed van de keizer af. De anderen deden dit onder dwang, en Raymond zwoer slechts een lauwe eed om de bezittingen en de persoon van de keizer te respecteren. Desondanks werden Raymond en Alexius goede vrienden, en Raymond bleef de sterkste verdediger van de rechten van de keizer gedurende de kruistocht.