Den store udvandring
Greater Harlem blev opfattet som sofistikeret i den senere del af det 19. århundrede. I løbet af årene begyndte organiseret kriminalitet udført af gangstere af italiensk, jødisk og irsk oprindelse, såsom farverige personligheder som Lucky Luciano, imidlertid at stige i Harlem. Dette opbyggede efterhånden dens berygtede ry.
1920’erne har greater Harlem været kendt som et vigtigt afroamerikansk bolig-, kultur- og forretningscenter. Sorte beboere begyndte at ankomme i massevis i 1905, og antallet blev næret af den store folkevandring. I 1920’erne og 1930’erne var Central og West Harlem centrum for “Harlem renæssancen”, en strøm af kunstnerisk arbejde uden fortilfælde i det sorte samfund i USA, og det blev endda kendt som “hovedstaden i det sorte Amerika”. Men med tab af arbejdspladser i forbindelse med den store depression og afindustrialiseringen af New York City efter anden verdenskrig steg kriminaliteten og fattigdommen betydeligt.
I det italienske Harlem var der mellem 1901 og 1921 opstået en organisation med titlen “the Black hand” i Second Avenue, som gav sig i kast med afpresning. Der var forgæves forsøg fra de italienske beboere i Harlem i 1930’erne på at forbedre deres boligsituation. De mislykkedes, hvilket resulterede i, at de flyttede ud af Harlem; meget usunde slumkvarterer var medvirkende til dette. Det italienske samfund, der boede i Harlem, og som blev set lige så meget på gaderne som i deres huse, oprettede endda en “drengeklub” (startet i 1927) i deres midte for at aflede opmærksomheden og for at vænne drengene fra bandernes indflydelse. Den italienske del af Harlem bestod af 64 regionale foreninger af indvandrere i 1934, og mange af dem fejrede festivaler i Mount Carmel-kirken. De var også adskilt fra den spanske del af Harlem.
I 1931 udøvede Dutch Schultz, en gangster, kontrol over Harlem-beboernes rigdom med udøvelse af vold og afpresning, der involverede banker, restauranter og klubber, idet han udnyttede sine politiske og politimæssige kontakter. Efter at han blev dræbt i 1935, faldt kontrollen over på Genovese Crime Family, som herskede i de næste 50 år.
Under Anden Verdenskrig sensationaliserede aviser som The New York Times kriminalitetssituationen og hævdede, at den var på vej op. Men situationen på jorden afspejlede ikke denne opfattelse, for i 1942 var der et fald i kriminaliteten.
Frank Lucas, en gangster fra Harlem
Som i Chicago oplevede New York City i midten af det 20. århundrede en dramatisk stigning i organiserede kriminelle razziaer, og gangsterne i Harlem har været blandt de mest berygtede i amerikansk historie. Gangstere som Frank Lucas, der blev hyldet som “den ondeste fyr på Harlems gader”, ledede en bande, der smuglede heroin ind i USA fra Vietnam i amerikanske krigsfly i slutningen af 1960’erne og begyndelsen af 1970’erne. Der udbrød store optøjer i Harlem i 1964, som blev slået voldeligt ned af politiet.
Billig crack-kokain i East Harlem, som blev et stort problem i 1980’erne, var, som forfatteren Russell Leigh Sharman udtrykker det, “i høj grad ansvarlig for devalueringen af menneskeliv i East Harlem: det påvirkede radikalt voldens økonomi i forhold til den ulovlige narkotikahandel.”
Siden New York Citys genoplivning i slutningen af det 20. århundrede har større Harlem oplevet social og økonomisk gentrificering. Harlem lider dog stadig under mange sociale problemer. Store dele af befolkningen modtager en form for indkomststøtte fra det offentlige, idet 34,9 %, 43,3 % og 46,5 % af befolkningen i West, Central og East Harlem modtager støtte.