Eerdere nederzettingen en middeleeuwse groei
Nadat Julius Caesar in 53 v. Chr. de Eburonen had vernietigd, koloniseerde de Romeinse generaal Agrippa het gebied met een andere stam, de Ubii, die afkomstig waren van de rechteroever van de Rijn. Rond 38 v. Chr. werd op deze plaats een versterkte nederzetting gesticht. Dit was de geboorteplaats van Julia Agrippina, de vrouw van keizer Claudius, en het was op haar verzoek dat de stad in 50 v. Chr. de titel van Romeinse kolonie kreeg. Het werd Colonia Claudia Ara Agrippinensium genoemd, afgekort tot Colonia; later werd het de zetel van de gouverneur van Neder-Duitsland. Na 258 v. Chr. was het een tijdlang de hoofdstad van een splinterrijk onder Postumus, dat Gallië, Brittannië en Spanje omvatte. In 310 bouwde keizer Constantijn de Grote er een burcht en een permanente brug over de Rijn. In de Romeinse tijd werden in Keulen keramiek en glas vervaardigd. Rond 456 werd het door de Franken veroverd, en het werd spoedig de residentie van de koningen van het Ripuarische deel van het Frankische koninkrijk.
Een christelijke gemeenschap bestond in Keulen waarschijnlijk al in de 2e eeuw, en de stad wordt voor het eerst als bisdom vermeld in 313. Karel de Grote maakte er aan het eind van de 8e eeuw een aartsbisdom van; tegen de 10e eeuw beheerste de aartsbisschop de stad en ontving hij een groot aantal tolgelden, douanerechten en andere betalingen. De industrie en de handel van de stad groeiden tijdens de Middeleeuwen, vooral vanaf ongeveer de 10e eeuw, en er ontstonden steeds bitterdere conflicten tussen de rijke kooplieden en de aartsbisschop. De eerste streefde naar commerciële en politieke vrijheid, de tweede naar het behoud van zijn wereldlijke macht, die vanaf de 13e eeuw werd uitgebreid toen de aartsbisschop een van de keurvorsten werd die het voorrecht hadden de Duitse koning te kiezen. Pas bij de Slag bij Worringen in 1288 werd de aartsbisschop definitief verslagen en kreeg Keulen volledig zelfbestuur. Vanaf dat moment was Keulen in feite een vrije keizerlijke stad, hoewel het pas in 1475 officieel als zodanig werd erkend.
Tot het einde van de 14e eeuw was het bestuur van de stad in handen van de rijke patriciërs, maar in 1396, na een revolutie zonder bloedvergieten, werd een nieuwe gemeentelijke grondwet vastgesteld, waarbij de 22 takken van de gilden de basis van het bestuur werden, want zij kozen een raad die de macht had over alle interne en externe aangelegenheden.
Deze middeleeuwse periode was een prachtige voor Keulen. Het was een vooraanstaand lid van het handelsverbond van de Hanze, en zijn kooplieden hadden waarschijnlijk de meest uitgebreide connecties en de meest gevarieerde handel van alle Duitse steden. Tot de ambachten behoorden de textielproductie, de boekdrukkunst, de lederbewerking, de emaillering en de metaalbewerking, waarbij het werk van de Keulse goudsmeden bijzonder fraai was. Ook kunst en religie bloeiden er. Drie van de grootste rooms-katholieke geleerden en theologen van de middeleeuwse scholastiek – Albertus Magnus, Thomas van Aquino en Johannes Duns Scotus – gaven allen les op de Keulse scholen. Na de Dertigjarige Oorlog (1618-48) ging het echter bergafwaarts met de stad. Nog in 1794, toen de Fransen Keulen bezetten, waren openbare protestantse diensten verboden en is de stad overwegend rooms-katholiek gebleven. De joodse gemeenschap, die vanaf de tijd van Constantijn de Grote had bestaan, werd in 1424 verdreven, en tot 1794 was het joden verboden in de stad te overnachten.