Paavi Urbanin puheen jälkeen valmistelut alkoivat sekä idässä että lännessä. Keisari Aleksius, joka epäilemättä oli odottanut jonkinlaisten apujoukkojen kokoamista, ilmeisesti pian tajusi, että hänen täytyisi huolehtia paljon suuremmasta soturijoukosta ja valvoa sitä. Lännessä, kun johtajat alkoivat koota armeijoitaan, ristin ottaneet pyrkivät keräämään rahaa, usein myymällä tai kiinnittämällä omaisuutta, sekä välitöntä varusteiden hankintaa että matkan pitkän aikavälin tarpeita varten.
Valmistelujen ollessa käynnissä useat vähemmän organisoidut ritarien ja talonpoikien joukot, jotka tunnetaan yleisesti nimellä ”kansan ristiretki”, lähtivät liikkeelle eri puolille Eurooppaa. Näistä tunnetuin, jonka kokosivat yhteen merkittävä kansansaarnaaja Pietari Erakko ja hänen kumppaninsa Walter Sansavoir, saapui Konstantinopoliin sen jälkeen, kun se oli aiheuttanut huomattavaa levottomuutta Unkarissa ja Bulgariassa. Aleksius otti Pietarin sydämellisesti vastaan ja neuvoi häntä odottamaan ristiretken pääjoukkojen saapumista. Joukko kasvoi kuitenkin kuriton, ja 6. elokuuta 1096 heidät kuljetettiin Bosporin yli. Kun Pietari oli Konstantinopolissa pyytämässä lisäapua, hänen armeijansa joutui väijytykseen Cibotuksessa (ristiretkeläiset kutsuivat sitä Civetotiksi), ja turkkilaiset lähes tuhosivat sen.
Pietari Eremitin saarnaaminen Saksassa innoitti muita ristiretkeläisryhmiä, jotka eivät myöskään päässeet Jerusalemiin. Yhtä näistä ryhmistä johti pahamaineinen kreivi Emicho, ja se oli vastuussa useiden juutalaisten pogromien eli joukkomurhien sarjasta useissa rheinalaiskaupungeissa vuonna 1096. Nämä hyökkäykset on perinteisesti tunnustettu tärkeäksi käännekohdaksi juutalaisten ja kristittyjen suhteissa keskiajalla – ne mainitaan usein antisemitismin historian käännekohtana – ja ne tapahtuivat ensin Speyerissä ja sen jälkeen yhä rajummin Wormsissa, Mainzissa ja Kölnissä. Näiden kaupunkien juutalaiset hakivat usein piispan suojelua ja toisinaan saivatkin sitä tai turhaan hakeutuivat paikallisiin koteihin ja temppeleihin. Ristiretkeläiset pakottivat monet juutalaiset kääntymään tai kuolemaan, ja he valitsivat kuoleman. On olemassa kertomuksia siitä, että juutalaiset tekivät itsemurhan ja jopa tappoivat lapsensa sen sijaan, että olisivat kääntyneet tai alistuneet ristiretkeläisten teloitukseen. Vaikka tällainen kiihkoilu ei ole ainutlaatuista kristinuskolle, nämä joukkomurhat eivät jääneet huomaamatta edes kristityiltä. Eräissä kristittyjen aikalaiskertomuksissa kansanristiretken tappio johtui niistä. Verilöylyjen jälkeen ristiretkeläiset siirtyivät Unkariin, jossa Unkarin kuningas karkotti heidät ja he kärsivät raskaita tappioita. Emicho, joka ei ehkä osallistunut kaikkiin joukkomurhiin, pakeni ja palasi kotiinsa häpeissään.
Ristiretkeläisten pääjoukko, joka lähti liikkeelle elokuussa 1096 Urbanin ohjeiden mukaisesti, koostui neljästä suuresta joukko-osastosta. Pienempi, viides joukko, jota johti Ranskan kuningas Filip I:n veljen Hugh of Vermandois’n veli, lähti ennen muita, mutta haaksirikkoutui haaksirikkoutuessaan ylittäessään Adrianmeren Barista Dyrrhachiumiin (nykyinen Durrës, Albania). Godfrey of Bouillon, ensimmäisenä lähteneen suuren armeijan johtaja ja Ala-Lothringenin herttua vuodesta 1087 lähtien, oli ainoa ristiretkelle osallistunut Saksan valtakunnan suuri ruhtinas, vaikka hän ja hänen kumppaninsa puhuivat suurelta osin ranskaa. Yhdessä veljiensä Eustacen ja Baldwinin sekä sukulaisensa Baldwin of Le Bourcqin kanssa Godfrey kulki maata pitkin ja ylitti Unkarin ilman välikohtauksia. Bysantin alueelta saatiin markkinoita ja elintarvikkeita, ja joitakin ryöstelyjä lukuun ottamatta armeija saavutti Konstantinopolin ilman vakavia ongelmia 23. joulukuuta 1096.
Toisen sotajoukon järjesti eteläisestä Italiasta kotoisin ollut normannialainen Bohemond. Robert Guiscardin poika Bohemond oli tutulla maaperällä Adrianmeren toisella puolella, jossa hän oli taistellut isänsä kanssa, ja Bysantti ymmärrettävästi pelkäsi häntä. Hän oli kuitenkin 40-vuotias saapuessaan Konstantinopoliin 9. huhtikuuta 1097 ja päättänyt päästä kannattaviin suhteisiin entisen vihollisensa kanssa.
Kolmannen ja suurimman armeijan kokosi Toulousen kreivi Raymond de Saint-Gilles. Hän oli 55-vuotiaana ristiretkellä olleista ruhtinaista vanhin ja merkittävin, ja hän pyrki ja ehkä odotti tulevansa koko retkikunnan johtajaksi. Hänen mukanaan oli Le Puyn piispa Adhémar, jonka paavi oli nimennyt ristiretken legaatiksi. Raymond johti seuraajansa, joiden joukossa oli myös joukko taisteluun osallistumattomia pyhiinvaeltajia, joita hän tuki omalla kustannuksellaan, Pohjois-Italian halki, Adrianmeren pään ympäri ja sitten etelään Bysantin alueelle. Tämä suuri joukko aiheutti huomattavia ongelmia Dalmatiassa ja joutui yhteen Bysantin joukkojen kanssa lähestyessään pääkaupunkia, jonne Raymond saapui 21. huhtikuuta.
Sillä välin neljäs armeija Flanderin Robertin johdolla oli ylittänyt Adrianmeren Brindisistä. Robertin mukana olivat hänen serkkunsa Robert Normandian Robert (Englannin kuningas Vilhelm II:n veli) ja Stephen Blois’n (Vilhelm Valloittajan vävy). Yksikään kuningas ei osallistunut ensimmäiseen ristiretkeen, ja pääasiassa ranskankieliset osallistujat tulivat muslimien keskuudessa tunnetuiksi frankkeina.
Massiivisten sotajoukkojen, joita oli Konstantinopolin lähellä ehkä 4 000 ratsumiestä ja 25 000 jalkaväkeä, läsnäolo aiheutti Alekseiukselle vakavan ongelman, ja ajoittain esiintyi levottomuuksia. Pakotettuna ottamaan huomioon keisarilliset edut, jotka, kuten pian kävi ilmi, poikkesivat ristiretkeläisten tavoitteista, keisari vaati jokaista ristiretkeläisten johtajaa lupaamaan valalla palauttaa hänelle kaikki valloitetut alueet, jotka olivat kuuluneet keisarikunnalle ennen turkkilaisten hyökkäyksiä, ja vannomaan hänelle uskollisuutta niin kauan kuin ristiretkeläiset pysyivät hänen alueellaan. Koska ristiretkillä ei ollut koskaan tarkoitus mennä vanhan Rooman valtakunnan kaukaisia rajoja pidemmälle, kaikki valloitukset siirtyivät käytännössä keisarille. Vain Bohemond vannoi vapaaehtoisesti keisarin valan. Muut tekivät sen pakon edessä, ja Raymond vannoi vain haalean valan kunnioittaa keisarin omaisuutta ja henkilöä. Tästä huolimatta Raymondista ja Aleksiuksesta tuli hyviä ystäviä, ja Raymond pysyi keisarin oikeuksien vahvimpana puolustajana koko ristiretken ajan.