Wielka Migracja
Większy Harlem był postrzegany jako wyrafinowany w późniejszej części XIX wieku. Z biegiem lat, jednak zorganizowana przestępczość gangsterów włoskiego, żydowskiego i irlandzkiego pochodzenia, takich jak barwne osobowości jak Lucky Luciano, zaczęła rosnąć w Harlemie. To stopniowo zbudował swoją notoryczną reputację.
1920’s, większy Harlem był znany jako główny afroamerykański mieszkalnych, kulturalnych i biznesowych centrum. Czarni mieszkańcy zaczęli masowo przybywać w 1905 roku, z liczbami zasilanymi przez Wielką Migrację. W latach dwudziestych i trzydziestych XX wieku, Centralny i Zachodni Harlem były ogniskiem „renesansu harlemskiego”, wybuchu twórczości artystycznej bez precedensu w amerykańskiej czarnej społeczności, a nawet stał się znany jako „stolica czarnej Ameryki”. Jednak wraz z utratą miejsc pracy w czasie Wielkiego Kryzysu i deindustrializacji Nowego Jorku po II wojnie światowej, wskaźniki przestępczości i ubóstwa znacznie wzrosły.
W włoskim Harlemie organizacja zatytułowana „Czarna ręka” pojawiła się między 1901 a 1921 rokiem w Second Avenue, która oddawała się szantażowi. W latach 30. włoscy mieszkańcy Harlemu bezskutecznie próbowali poprawić swoją sytuację mieszkaniową. Nie powiodły się one, co spowodowało ich migrację z Harlemu; przyczyniły się do tego bardzo niezdrowe slumsy. Włoska społeczność mieszkająca w Harlemie, która była tak samo widoczna na ulicach jak i w swoich domach, założyła nawet „klub dla chłopców” (założony w 1927 roku) w swoim otoczeniu, aby odwrócić uwagę i odciągnąć chłopców od wpływu gangów. Włoska część Harlemu stanowiła w 1934 roku 64 regionalne stowarzyszenia imigrantów i wielu z nich obchodziło święta w kościele na górze Karmel. Byli oni również odseparowani od hiszpańskiej części Harlemu.
W 1931 roku, Dutch Schultz, gangster, sprawował kontrolę nad bogactwem mieszkańców Harlemu, stosując przemoc i szantaż wobec banków, restauracji i klubów, wykorzystując swoje kontakty polityczne i policyjne. Po tym jak został zabity w 1935 roku, płaszcz kontroli spadł na Genovese Crime Family, którzy rządzili przez następne 50 lat.
Podczas II wojny światowej, gazety takie jak The New York Times sensacyjnie przedstawiały sytuację przestępczości i twierdziły, że idzie ona w górę. Jednak sytuacja naziemna nie odzwierciedlała tego poglądu, ponieważ w 1942 roku nastąpił spadek przestępczości.
Frank Lucas, gangster z Harlemu
Podobnie jak w Chicago, w Nowym Jorku w połowie XX wieku nastąpił gwałtowny wzrost zorganizowanych siatek przestępczych, a gangsterzy z Harlemu należeli do najbardziej osławionych w historii Ameryki. Gangsterzy tacy jak Frank Lucas, okrzyknięty „baddest dude on the mean streets of Harlem”, prowadził gang, który przemycał heroinę do stanów z Wietnamu w amerykańskich samolotach wojennych w późnych latach 60-tych i wczesnych 70-tych. Poważne zamieszki wybuchły w Harlemie w 1964 roku, brutalnie stłumione przez policję.
Tania kokaina crack we Wschodnim Harlemie, która stała się głównym problemem w latach 80-tych, jak autor Russell Leigh Sharman stawia, była „w dużej mierze odpowiedzialna za dewaluację ludzkiego życia we Wschodnim Harlemie: radykalnie wpłynęła na ekonomię przemocy w odniesieniu do nielegalnego handlu narkotykami.”
Od czasu odrodzenia Nowego Jorku pod koniec XX wieku, większy Harlem doświadcza społecznej i ekonomicznej gentryfikacji. Jednak Harlem nadal cierpi z powodu wielu problemów społecznych. Duża część populacji otrzymuje formę wsparcia dochodów od rządu, z 34,9%, 43,3% i 46,5% populacji Zachodniego, Centralnego i Wschodniego Harlemu otrzymujących pomoc.
.