Tras el discurso del Papa Urbano, comenzaron los preparativos tanto en Oriente como en Occidente. El emperador Alejo, que sin duda había previsto la reunión de algún tipo de fuerza auxiliar, al parecer pronto se dio cuenta de que tendría que prever y vigilar una afluencia mucho mayor de guerreros. En Occidente, cuando los líderes empezaron a reunir sus ejércitos, los que tomaron la cruz trataron de reunir dinero, a menudo vendiendo o hipotecando propiedades, tanto para la compra inmediata de equipo como para las necesidades a largo plazo del viaje.
Mientras se llevaban a cabo los preparativos, varias bandas menos organizadas de caballeros y campesinos, conocidas comúnmente como la «Cruzada del Pueblo», partieron a través de Europa. La más famosa de ellas, reunida por un notable predicador popular, Pedro el Ermitaño, y su socio Walter Sansavoir, llegó a Constantinopla después de haber causado un considerable desorden en Hungría y Bulgaria. Alejo recibió a Pedro cordialmente y le aconsejó que esperara la llegada de la fuerza principal de la Cruzada. Pero las tropas se volvieron revoltosas y el 6 de agosto de 1096 fueron trasladadas al otro lado del Bósforo. Mientras Pedro estaba en Constantinopla solicitando ayuda adicional, su ejército fue emboscado en Cibotus (llamado Civetot por los cruzados) y casi aniquilado por los turcos.
La predicación de Pedro el Ermitaño en Alemania inspiró a otros grupos de cruzados, que tampoco llegaron a Jerusalén. Uno de estos grupos estaba dirigido por el notorio Conde Emicho y fue responsable de una serie de pogromos, o masacres, de judíos en varias ciudades renanas en 1096. Tradicionalmente reconocido como un importante punto de inflexión en las relaciones entre judíos y cristianos en la Edad Media -de hecho, a menudo se cita como un momento crucial en la historia del antisemitismo-, estos ataques se produjeron primero en Espira y luego, con creciente ferocidad, en Worms, Maguncia y Colonia. Los judíos de estas ciudades a menudo buscaban, y a veces recibían, la protección del obispo o se refugiaban inútilmente en casas y templos locales. Obligados por los cruzados a convertirse o morir, muchos judíos eligieron la muerte. Hay relatos de judíos que se suicidaron e incluso mataron a sus hijos antes que convertirse o someterse a la ejecución de los cruzados. Aunque este tipo de fanatismo no es exclusivo del cristianismo, estas masacres no pasaron desapercibidas ni siquiera para los cristianos. De hecho, algunos relatos cristianos contemporáneos les atribuyeron la derrota de la Cruzada Popular. Tras las masacres, los cruzados se dirigieron a Hungría, donde fueron derrotados por el rey húngaro y sufrieron grandes pérdidas. Emicho, que tal vez no participó en todos los pogromos, escapó y regresó a su país en desgracia.
La fuerza principal de las Cruzadas, que partió en agosto de 1096 según las indicaciones de Urbano, estaba formada por cuatro contingentes principales. Una quinta fuerza más pequeña, dirigida por Hugo de Vermandois, hermano del rey Felipe I de Francia, partió antes que las demás, pero fue reducida por un naufragio mientras cruzaba el Adriático desde Bari a Dyrrhachium (actual Durrës, Albania). Godofredo de Bouillon, líder del primer gran ejército que partió y duque de la Baja Lorena desde 1087, fue el único príncipe importante del reino alemán que participó en la Cruzada, aunque él y sus asociados hablaban mayoritariamente francés. Acompañado de sus hermanos, Eustaquio y Balduino, y de un pariente, Balduino de Le Bourcq, Godofredo tomó la ruta terrestre y cruzó Hungría sin incidentes. Los mercados y las provisiones se abastecieron en territorio bizantino y, salvo algunos saqueos, el ejército llegó a Constantinopla sin graves problemas el 23 de diciembre de 1096.
Una segunda fuerza fue organizada por Bohemond, un normando del sur de Italia. Hijo de Roberto Guiscard, Bohemundo se encontraba en terreno conocido al otro lado del Adriático, donde había luchado con su padre y era comprensiblemente temido por los bizantinos. Sin embargo, tenía 40 años cuando llegó a Constantinopla el 9 de abril de 1097, y estaba decidido a llegar a acuerdos provechosos con su antiguo enemigo.
El tercer y mayor ejército fue reunido por Raimundo de Saint-Gilles, el conde de Toulouse. A la edad de 55 años, era el más anciano y prominente de los príncipes de la Cruzada, y aspiraba y quizás esperaba convertirse en el líder de toda la expedición. Le acompañaba Adhémar, obispo del Puy, a quien el Papa había nombrado legado de la Cruzada. Raimundo condujo a sus seguidores, entre los que se encontraban algunos peregrinos no combatientes a los que apoyó a sus expensas, a través del norte de Italia, alrededor de la cabeza del mar Adriático, y luego hacia el sur en territorio bizantino. Este gran cuerpo causó considerables problemas en Dalmacia y se enfrentó a las tropas bizantinas a medida que se acercaba a la capital, donde Raimundo llegó el 21 de abril.
Mientras tanto, el cuarto ejército, al mando de Roberto de Flandes, había cruzado el Adriático desde Brindisi. Acompañaban a Roberto su primo Roberto de Normandía (hermano del rey Guillermo II de Inglaterra) y Esteban de Blois (yerno de Guillermo el Conquistador). Ningún rey participó en la Primera Cruzada, y los participantes, predominantemente francófonos, pasaron a ser conocidos por los musulmanes como francos.
La presencia cerca de Constantinopla de fuerzas militares masivas, que sumaban quizás 4.000 caballeros a caballo y 25.000 de infantería, supuso un serio problema para Alejo, y hubo desórdenes ocasionales. Obligado a considerar los intereses imperiales, que, pronto se hizo evidente, eran diferentes del objetivo de los cruzados, el emperador exigió a cada líder de la Cruzada que prometiera bajo juramento devolverle cualquier territorio conquistado que hubiera pertenecido al imperio antes de las invasiones turcas y que le jurara lealtad mientras los cruzados permanecieran en sus dominios. Dado que nunca hubo un plan para que la Cruzada fuera más allá de las lejanas fronteras del antiguo Imperio Romano, esto daría efectivamente todas las conquistas al emperador. Sólo Bohemundo tomó voluntariamente el juramento del emperador. Los demás lo hicieron bajo presión, y Raimundo sólo prestó un tibio juramento de respetar la propiedad y la persona del emperador. A pesar de ello, Raimundo y Alejo se hicieron buenos amigos, y Raimundo siguió siendo el más firme defensor de los derechos del emperador durante toda la Cruzada.