Suuri muuttoliike
Greater Harlemia pidettiin 1800-luvun loppupuolella hienostuneena. Vuosien kuluessa Harlemissa alkoi kuitenkin nousta italialaista, juutalaista ja irlantilaista alkuperää olevien gangsterien, kuten Lucky Lucianon kaltaisten värikkäiden persoonallisuuksien, järjestäytynyt rikollisuus. Tämä kasvatti vähitellen sen pahamaineista mainetta.
1920-luvulla Harlemin suuralue tunnettiin merkittävänä afroamerikkalaisena asuin-, kulttuuri- ja liikekeskuksena. Mustat asukkaat alkoivat saapua massoittain vuonna 1905, ja lukumäärää ruokki suuri muuttoliike. 1920- ja 1930-luvuilla Keski- ja Länsi-Harlem olivat ”Harlemin renessanssin” keskipisteenä, joka oli ennennäkemätön taiteellisen työn vuodatus Yhdysvaltain mustassa yhteisössä, ja sitä alettiin kutsua jopa ”mustan Amerikan pääkaupungiksi”. Suuren laman aikaan tapahtuneen työpaikkojen menetyksen ja New Yorkin deindustrialisoitumisen myötä toisen maailmansodan jälkeen rikollisuus ja köyhyys lisääntyivät kuitenkin merkittävästi.
Italian Harlemissa Second Avenuella oli vuosien 1901 ja 1921 välisenä aikana syntynyt ”Musta käsi” -niminen järjestö, joka harrasti kiristystä. Harlemin italialaiset asukkaat yrittivät 1930-luvulla tuloksetta parantaa asuntotilannettaan. Ne epäonnistuivat, mikä johti heidän muuttoonsa pois Harlemista; erittäin epäterveelliset slummit vaikuttivat tähän. Harlemissa asuva italialaisyhteisö, joka näkyi kaduilla yhtä paljon kuin kodeissaan, perusti jopa ”poikakerhon” (joka aloitettiin vuonna 1927) keskuuteensa harhauttamaan huomiota ja vieroittamaan pojat jengien vaikutuksesta. Harlemin italialainen osa muodosti vuonna 1934 64 alueellisen yhdistyksen maahanmuuttajat, ja monet heistä viettivät juhlia Karmelin vuoren kirkossa. Heidät myös erotettiin Harlemin espanjalaisesta osasta.
Vuonna 1931 mafioso Dutch Schultz käytti määräysvaltaa Harlemin asukkaiden varallisuuteen harjoittamalla väkivaltaa ja kiristämällä pankkeihin, ravintoloihin ja klubeihin kohdistuvaa kiristystä poliittisia ja poliisikontaktejaan hyödyntäen. Hänen kuoltuaan vuonna 1935 määräysvalta siirtyi Genovesen rikollisperheelle, joka hallitsi tilannetta seuraavat 50 vuotta.
Toisen maailmansodan aikana sanomalehdet, kuten The New York Times, tekivät rikollisuustilanteesta sensaatiohakuisen ja väittivät sen olevan nousussa. Maastotilanne ei kuitenkaan vastannut tätä näkemystä, sillä vuonna 1942 rikollisuus väheni.
Frank Lucas, Harlemin gangsteri
Niin kuin Chicagossa, myös New Yorkissa 1900-luvun puolivälissä järjestäytyneet rikollisliigat lisääntyivät jyrkästi, ja Harlemin gangsterit ovatkin olleet Yhdysvaltain historian pahamaineisimpia. Sellaiset gangsterit kuin Frank Lucas, jota ylistettiin ”Harlemin ilkeimpien katujen pahimpana kaverina”, pyörittivät jengiä, joka salakuljetti heroiinia Yhdysvaltoihin Vietnamista amerikkalaisilla sotakoneilla 1960-luvun lopulla ja 1970-luvun alussa. Harlemissa puhkesi vuonna 1964 suuria mellakoita, jotka poliisi tukahdutti väkivaltaisesti.
Halpa crack-kokaiini Itä-Harlemissa, josta tuli suuri ongelma 1980-luvulla, oli kirjailija Russell Leigh Sharmanin mukaan ”suurelta osin vastuussa ihmiselämän devalvaatiosta Itä-Harlemissa: se vaikutti radikaalisti väkivallan talouteen suhteessa laittomaan huumekauppaan”.”
New Yorkin elpymisen jälkeen 1900-luvun lopulla suur-Harlem on kokenut sosiaalista ja taloudellista gentrifikaatiota. Harlem kärsii kuitenkin edelleen monista sosiaalisista ongelmista. Suuri osa väestöstä saa jonkinlaista toimeentulotukea valtiolta: 34,9 %, 43,3 % ja 46,5 % Länsi-, Keski- ja Itä-Harlemin väestöstä saa tukea.