New York City sijaitsee Yhdysvaltojen koillisosan rannikolla Hudsonjoen suulla New Yorkin osavaltion kaakkoisosassa. Se sijaitsee New Yorkin ja New Jerseyn satamasuistossa, jonka keskipiste on New Yorkin satama, jonka syvät vedet ja suojaisat lahdet auttoivat kaupunkia kasvattamaan merkitystään kauppakaupunkina. Suuri osa New Yorkista on rakennettu kolmelle saarelle: Manhattanille, Staten Islandille ja läntiselle Long Islandille, mikä tekee maasta niukkaa ja kannustaa suureen asukastiheyteen.
Hudson-joki virtaa Hudsonin laaksosta New Yorkin lahteen ja muuttuu vuorovesisuistoksi, joka erottaa Bronxin ja Manhattanin Pohjois-New Jerseystä. Harlem-joki, toinen East- ja Hudson-jokien välinen vuorovesisalmi, erottaa Manhattanin Bronxista.
New Yorkin kaupunginosat kulkevat kahden Pohjois-Amerikan itäosan geologisen provinssin rajalla. Brooklyn ja Queens, jotka sijaitsevat Long Islandilla, ovat osa itäistä rannikkotasankoa. Long Island on massiivinen moreeni, joka muodostui Laurentiden jääpeitteen eteläreunaan viime jääkauden aikana. Bronx ja Manhattan sijaitsevat Newarkin altaan itäreunalla, joka on maankuoren lohko, joka vajosi alaspäin superkontinentti Pangaian hajotessa triaskaudella. New Jerseyn Hudson-joen rannalla sijaitseva Palisades Sill paljastaa muinaista, aikoinaan sulaa kiveä, joka täytti altaan. Kovat metamorfiset kivet ovat suurimman osan Manhattanista alla, ja ne tarjoavat vankan tuen sen lukuisille pilvenpiirtäjille.
Ihminen on muuttanut kaupungin maata huomattavasti, ja vesirajoja on muokattu huomattavasti hollantilaisen siirtomaa-ajan jälkeen. Maa-ainestenotto on huomattavinta Lower Manhattanilla, jossa on nykyaikaisia rakennuskohteita, kuten Battery Park City. Suuri osa pinnanmuodon luonnollisista vaihteluista on tasoittunut, erityisesti Manhattanilla. Manhattanin länsipuolella on edelleen jonkin verran kumpuilevaa, erityisesti Upper Manhattanilla, kun taas East Side on tasoittunut huomattavasti. Duffy’s Hill East Harlemissa on yksi huomattava poikkeus East Siden suhteellisen tasaisesta tasosta.
Kaupungin pinta-ala on arviolta 321 neliömailia (830 km2). Tuoreemman arvion mukaan maapinta-ala on kuitenkin 304,8 neliömailia (789,4 neliökilometriä). Kaupungin korkein luonnollinen kohta on Staten Islandilla sijaitseva Todt Hill, joka 409,8 jalan (124,9 m) korkeudellaan merenpinnan yläpuolella on korkein kukkula itärannikolla Mainen eteläpuolella. Harjun huippu on suurelta osin metsän peitossa osana Staten Island Greenbelt -aluetta.