Après le discours du pape Urbain, les préparatifs ont commencé à l’Est comme à l’Ouest. L’empereur Alexis, qui avait sans doute prévu le rassemblement d’une sorte de force auxiliaire, s’est apparemment vite rendu compte qu’il devrait prévoir et contrôler un afflux beaucoup plus important de guerriers. En Occident, alors que les chefs commençaient à rassembler leurs armées, ceux qui prenaient la croix cherchaient à collecter de l’argent, souvent en vendant ou en hypothéquant des biens, à la fois pour l’achat immédiat d’équipement et pour les besoins à long terme du voyage.
Alors que les préparatifs étaient en cours, plusieurs bandes moins organisées de chevaliers et de paysans, communément appelées « Croisade du peuple », se sont lancées à travers l’Europe. La plus célèbre d’entre elles, réunie par un remarquable prédicateur populaire, Pierre l’Hermite, et son associé Walter Sansavoir, atteignit Constantinople après avoir causé des troubles considérables en Hongrie et en Bulgarie. Alexis reçoit Pierre cordialement et lui conseille d’attendre l’arrivée de la force principale de la croisade. Mais les soldats deviennent indisciplinés et, le 6 août 1096, ils traversent le Bosphore. Alors que Pierre se trouvait à Constantinople pour demander une aide supplémentaire, son armée tomba dans une embuscade à Cibotus (appelée Civetot par les croisés) et fut pratiquement anéantie par les Turcs.
La prédication de Pierre l’Ermite en Allemagne a inspiré d’autres groupes de croisés, qui n’ont pas non plus réussi à atteindre Jérusalem. L’un de ces groupes était dirigé par le tristement célèbre comte Emicho et fut responsable d’une série de pogroms, ou massacres, de Juifs dans plusieurs villes rhénanes en 1096. Traditionnellement reconnu comme un tournant important dans les relations entre juifs et chrétiens au Moyen Âge – en fait, il est souvent cité comme un moment charnière dans l’histoire de l’antisémitisme – ces attaques se sont produites d’abord à Spire, puis avec une férocité croissante à Worms, Mayence et Cologne. Les Juifs de ces villes ont souvent cherché, et parfois reçu, la protection de l’évêque ou se sont futilement réfugiés dans les maisons et les temples locaux. Contraints par les croisés de se convertir ou de mourir, de nombreux Juifs choisissent la mort. Il existe des témoignages de Juifs se suicidant et tuant même leurs enfants plutôt que de se convertir ou de se soumettre à l’exécution des croisés. Bien qu’un tel fanatisme ne soit pas propre au christianisme, ces massacres ne sont pas passés inaperçus, même pour les autres chrétiens. En effet, certains récits chrétiens contemporains leur attribuent la défaite de la Croisade populaire. Après les massacres, les croisés se sont rendus en Hongrie, où ils ont été mis en déroute par le roi hongrois et ont subi de lourdes pertes. Emicho, qui n’a peut-être pas participé à tous les pogroms, s’échappe et rentre chez lui en disgrâce.
La force principale de la croisade, qui part en août 1096 selon les directives d’Urbain, se compose de quatre contingents majeurs. Une cinquième force, plus petite, dirigée par Hugh de Vermandois, frère du roi Philippe Ier de France, partit avant les autres mais fut réduite par un naufrage lors de la traversée de l’Adriatique de Bari à Dyrrhachium (aujourd’hui Durrës, Albanie). Godefroid de Bouillon, chef de la première grande armée à partir et duc de Basse-Lorraine depuis 1087, est le seul grand prince du royaume allemand à participer à la croisade, bien que lui et ses associés parlent largement le français. Rejoint par ses frères, Eustache et Baldwin, et par un parent, Baldwin de Le Bourcq, Godefroid prend la route terrestre et traverse la Hongrie sans incident. Les marchés et les provisions sont approvisionnés en territoire byzantin et, à l’exception de quelques pillages, l’armée atteint Constantinople sans problème sérieux le 23 décembre 1096.
Une deuxième force fut organisée par Bohémond, un Normand du sud de l’Italie. Fils de Robert Guiscard, Bohémond était en terrain connu de l’autre côté de l’Adriatique, où il avait combattu avec son père et était craint, à juste titre, par les Byzantins. Cependant, il avait 40 ans lorsqu’il arriva à Constantinople le 9 avril 1097, et était déterminé à conclure des termes profitables avec son ancien ennemi.
La troisième et plus grande armée fut rassemblée par Raymond de Saint-Gilles, le comte de Toulouse. À 55 ans, il était le plus âgé et le plus éminent des princes de la croisade, et il aspirait et s’attendait peut-être à devenir le chef de toute l’expédition. Il est accompagné d’Adhémar, évêque du Puy, que le pape a nommé légat de la croisade. Raymond conduit ses partisans, y compris un certain nombre de pèlerins non combattants qu’il soutient à ses propres frais, à travers le nord de l’Italie, autour de la tête de la mer Adriatique, puis vers le sud en territoire byzantin. Ce grand corps causa des troubles considérables en Dalmatie et se heurta aux troupes byzantines lorsqu’il approcha de la capitale, où Raymond arriva le 21 avril.
Pendant ce temps, la quatrième armée, sous les ordres de Robert de Flandre, avait traversé l’Adriatique depuis Brindisi. Robert était accompagné de son cousin Robert de Normandie (frère du roi Guillaume II d’Angleterre) et d’Étienne de Blois (le gendre de Guillaume le Conquérant). Aucun roi ne prit part à la première croisade, et les participants, majoritairement francophones, furent connus par les musulmans sous le nom de Francs.
La présence près de Constantinople de forces militaires massives, comptant peut-être 4 000 chevaliers montés et 25 000 fantassins, posa un sérieux problème à Alexis, et il y eut parfois des désordres. Contraint de prendre en compte les intérêts impériaux, qui, il est vite apparu, étaient différents de l’objectif des croisés, l’empereur exigea de chaque chef de croisade qu’il promette sous serment de lui restituer tout territoire conquis qui avait appartenu à l’empire avant les invasions turques et de lui jurer fidélité tant que les croisés resteraient dans son domaine. Étant donné qu’il n’a jamais été prévu que la croisade dépasse les frontières lointaines de l’ancien Empire romain, cela revenait à donner toutes les conquêtes à l’empereur. Seul Bohémond a prêté volontairement le serment de l’empereur. Les autres le font sous la contrainte, et Raymond ne prête qu’un serment tiède de respecter les biens et la personne de l’empereur. Malgré cela, Raymond et Alexis devinrent de bons amis, et Raymond resta le plus ardent défenseur des droits de l’empereur tout au long de la Croisade.