Efter påven Urbans tal började förberedelserna i både öst och väst. Kejsar Alexius, som utan tvekan hade räknat med att någon form av hjälpstyrka skulle samlas, insåg tydligen snart att han skulle bli tvungen att förse och övervaka ett mycket större inflöde av krigare. I väst, när ledarna började samla sina arméer, försökte de som tog korset samla in pengar, ofta genom att sälja eller belåna egendom, både för det omedelbara inköpet av utrustning och för resans långsiktiga behov.
I samband med att förberedelserna pågick gav sig flera mindre organiserade grupper av riddare och bönder, allmänt kända som ”folkets korståg”, ut över Europa. Det mest kända av dessa, som samlades av en anmärkningsvärd folklig predikant, Peter eremiten, och hans medarbetare Walter Sansavoir, nådde Konstantinopel efter att ha orsakat avsevärda oroligheter i Ungern och Bulgarien. Alexius tog emot Peter hjärtligt och rådde honom att invänta ankomsten av korstågets huvudstyrka. Men de blev alltmer oroliga, och den 6 augusti 1096 fördes de med färja över Bosporen. Medan Peter var i Konstantinopel för att be om ytterligare hjälp, hamnade hans armé i ett bakhåll vid Cibotus (kallad Civetot av korsfararna) och förintades nästan helt av turkarna.
Petrus eremitens predikningar i Tyskland inspirerade andra grupper av korsfarare, som också misslyckades med att nå Jerusalem. En av dessa grupper leddes av den ökände greven Emicho och var ansvarig för en rad pogromer, eller massakrer, på judar i flera rheniska städer år 1096. Traditionellt sett erkänns detta som en viktig vändpunkt i de judiska och kristna relationerna under medeltiden – i själva verket nämns det ofta som ett avgörande ögonblick i antisemitismens historia – dessa attacker inträffade först i Speyer och sedan med ökande grymhet i Worms, Mainz och Köln. Judarna i dessa städer sökte ofta, och fick ibland, skydd av biskopen eller sökte förgäves skydd i lokala hem och tempel. Korsfararna tvingade många judar att konvertera eller dö och många valde döden. Det finns berättelser om judar som begick självmord och till och med dödade sina barn i stället för att konvertera eller låta sig avrättas av korsfararna. Även om denna typ av fanatism inte är unik för kristendomen gick dessa massakrer inte obemärkt förbi, inte ens bland kristna. Vissa samtida kristna redogörelser tillskrev dem till Folkets korstågets nederlag. Efter massakrerna drog korsfararna vidare till Ungern, där de slogs ut av den ungerska kungen och led stora förluster. Emicho, som kanske inte deltog i alla pogromer, flydde och återvände hem i vanära.
Den huvudsakliga korsfararstyrkan, som gav sig av i augusti 1096 enligt Urbans anvisningar, bestod av fyra större kontingenter. En mindre, femte styrka, ledd av Hugh av Vermandois, bror till kung Filip I av Frankrike, gav sig av före de andra men reducerades genom skeppsbrott när den korsade Adriatiska havet från Bari till Dyrrhachium (nu Durrës, Albanien). Godfrey av Bouillon, ledare för den första stora armén som gav sig av och hertig av Nedre Lothringen sedan 1087, var den enda större furste från det tyska kungadömet som deltog i korståget, även om han och hans följeslagare till stor del talade franska. Tillsammans med sina bröder, Eustace och Baldwin, och en släkting, Baldwin av Le Bourcq, tog Godfrey landvägen och korsade Ungern utan incidenter. Marknader och proviant försörjdes på bysantinskt territorium, och med undantag för vissa plundringar nådde armén Konstantinopel utan större problem den 23 december 1096.
En andra styrka organiserades av Bohemond, en normand från södra Italien. Bohemond var son till Robert Guiscard och befann sig på bekant mark på andra sidan Adriatiska havet, där han hade stridit med sin far och var förståeligt nog fruktad av bysantinerna. Han var dock 40 år gammal när han anlände till Konstantinopel den 9 april 1097 och var fast besluten att komma överens med sin tidigare fiende på ett lönsamt sätt.
Den tredje och största armén samlades av Raymond av Saint-Gilles, greve av Toulouse. Vid 55 års ålder var han den äldsta och mest framstående av prinsarna på korståget, och han strävade efter och förväntade sig kanske att bli ledare för hela expeditionen. Han åtföljdes av Adhémar, biskop av Le Puy, som påven hade utsett till legat för korståget. Raymond ledde sina anhängare, däribland ett antal pilgrimer som inte var stridande och som han stödde på egen bekostnad, genom norra Italien, runt Adriatiska havets huvud och sedan söderut in på bysantinskt territorium. Denna stora grupp orsakade stora problem i Dalmatien och drabbade samman med bysantinska trupper när den närmade sig huvudstaden, dit Raymond anlände den 21 april.
Under tiden hade den fjärde armén, under Robert av Flandern, korsat Adriatiska havet från Brindisi. Med Robert följde hans kusin Robert av Normandie (bror till kung Vilhelm II av England) och Stefan av Blois (svärson till Vilhelm Erövraren). Ingen kung deltog i det första korståget, och de övervägande fransktalande deltagarna kom att kallas franker av muslimerna.
Närvaron nära Konstantinopel av massiva militära styrkor, med kanske 4 000 beridna riddare och 25 000 infanterister, utgjorde ett allvarligt problem för Alexius, och det rådde tillfälliga oroligheter. Kejsaren tvingades ta hänsyn till de kejserliga intressena, som, vilket snart blev uppenbart, skilde sig från korsfararnas mål, och krävde att varje ledare för korstågen under ed skulle lova att återlämna alla erövrade territorier som hade tillhört kejsardömet före de turkiska invasionerna till honom, och att svära lojalitet till honom så länge korsfararna stannade kvar i hans domäner. Eftersom det aldrig fanns någon plan för korstågen att gå utanför det gamla romerska rikets avlägsna gränser, skulle detta i praktiken ge alla erövringar till kejsaren. Endast Bohemond tog frivilligt kejsarens ed. De andra gjorde det under tvång, och Raymond svor endast en ljummen ed om att respektera kejsarens egendom och person. Trots detta blev Raymond och Alexius goda vänner, och Raymond förblev den starkaste försvararen av kejsarens rättigheter under hela korståget.