Velká migrace
Veliký Harlem byl v pozdější části devatenáctého století vnímán jako kultivovaný. V průběhu let však v Harlemu začal narůstat organizovaný zločin gangsterů italského, židovského a irského původu, například barvitých osobností jako Lucky Luciano. To postupně budovalo jeho nechvalnou pověst.
V dvacátých letech 20. století byl větší Harlem znám jako významné afroamerické obytné, kulturní a obchodní centrum. Černošští obyvatelé se začali masově přistěhovávat v roce 1905, přičemž jejich počty byly živeny Velkou migrací. Ve dvacátých a třicátých letech 20. století se centrální a západní Harlem stal ohniskem „harlemské renesance“, výboje umělecké tvorby, který neměl v americké černošské komunitě obdoby, a dokonce se mu začalo říkat „hlavní město černé Ameriky“. Se ztrátou pracovních míst v době Velké hospodářské krize a deindustrializací New Yorku po druhé světové válce však výrazně vzrostla míra kriminality a chudoby.
V italském Harlemu vznikla v letech 1901-1921 na Second Avenue organizace s názvem „Černá ruka“, která se vyžívala ve vydírání. Ve 30. letech 20. století docházelo k neúspěšným pokusům italských obyvatel Harlemu o zlepšení jejich bytové situace. Neuspěly, což vedlo k jejich migraci z Harlemu; přispěly k tomu i vysoce nezdravé slumy. Italská komunita žijící v Harlemu, která byla vidět na ulicích stejně jako ve svých domech, dokonce ve svém středu založila „chlapecký klub“ (začal fungovat v roce 1927), aby odvrátila pozornost a odvedla chlapce od vlivu gangů. Italská část Harlemu tvořila v roce 1934 přistěhovalci 64 regionálních spolků a mnoho z nich dodržovalo slavnosti v kostele na hoře Karmel. Byli také segregováni od španělské části Harlemu.
V roce 1931 mafián Dutch Schultz vykonával kontrolu nad bohatstvím obyvatel Harlemu pácháním násilí a vydíráním zahrnujícím banky, restaurace a kluby s využitím svých politických a policejních kontaktů. Poté, co byl v roce 1935 zabit, připadl plášť kontroly zločinecké rodině Genovese, která vládla po dalších 50 let.
Během druhé světové války noviny jako The New York Times senzačně popisovaly situaci v oblasti kriminality a tvrdily, že kriminalita stoupá. Situace v terénu však tomuto názoru neodpovídala, protože v roce 1942 došlo ke snížení kriminality.
Frank Lucas, harlemský gangster
Stejně jako v Chicagu došlo i v New Yorku v polovině 20. století k dramatickému nárůstu organizovaného zločinu a gangsteři z Harlemu patřili k nejznámějším v americké historii. Gangsteři jako Frank Lucas, oslavovaný jako „nejhorší frajer v podlých ulicích Harlemu“, řídili gang, který na přelomu 60. a 70. let pašoval do států heroin z Vietnamu v amerických válečných letadlech. V roce 1964 vypukly v Harlemu velké nepokoje, které policie násilně potlačila.
Levný crack ve východním Harlemu, který se stal velkým problémem v 80. letech, jak uvádí autor Russell Leigh Sharman, byl „do značné míry zodpovědný za devalvaci lidského života ve východním Harlemu: radikálně ovlivnil ekonomiku násilí ve vztahu k nelegálnímu obchodu s drogami.“
Od oživení New Yorku na konci 20. století dochází ve větším Harlemu k sociální a ekonomické gentrifikaci. Harlem však stále trpí mnoha sociálními problémy. Velká část obyvatelstva pobírá určitou formu příjmové podpory od vlády: 34,9 %, 43,3 % a 46,5 % obyvatel Západního, Centrálního a Východního Harlemu pobírá podporu.