New York City ligger vid kusten i nordöstra USA vid Hudsonflodens mynning i sydöstra delstaten New York. Den ligger i New York-New Jersey Harbor Estuary, vars mittpunkt är New York Harbor, vars djupa vatten och skyddade vikar hjälpte staden att växa i betydelse som handelsstad. En stor del av New York är byggd på de tre öarna Manhattan, Staten Island och västra Long Island, vilket gör marken knapp och uppmuntrar en hög befolkningstäthet.
Hudsonfloden rinner från Hudsondalen ut i New York Bay och blir en tidvattenmynning som skiljer Bronx och Manhattan från norra New Jersey. Harlem River, ett annat tidvattenstråk mellan East River och Hudson River, skiljer Manhattan från Bronx.
Boroughs i New York City ligger på gränsen mellan två geologiska provinser i östra Nordamerika. Brooklyn och Queens, som ligger på Long Island, är en del av den östra kustslätten. Long Island är en massiv morän som bildades vid den södra kanten av Laurentide-isen under den senaste istiden. Bronx och Manhattan ligger på den östra kanten av Newark Basin, ett block av jordskorpan som sjönk nedåt under upplösningen av superkontinenten Pangaea under triasperioden. Palisades Sill på New Jerseys sida av Hudsonfloden avslöjar gammal, en gång smält sten som fyllde bäckenet. Hårda metamorfa bergarter ligger till grund för en stor del av Manhattan och ger ett stabilt stöd för de många skyskraporna.
Stadens mark har förändrats avsevärt av mänsklig inblandning, med betydande landåtervinning längs vattenfronterna sedan holländsk kolonialtid. Återvinningen är mest anmärkningsvärd på nedre Manhattan med moderna byggen som Battery Park City. En stor del av de naturliga variationerna i topografin har jämnats ut, särskilt på Manhattan. På Manhattans västra sida finns fortfarande en viss kupering, särskilt på övre Manhattan, medan den östra sidan har blivit betydligt plattare. Duffy’s Hill i East Harlem är ett anmärkningsvärt undantag från East Sides relativt plana lutning.
Stadens landyta uppskattas till 830 km2 (321 square miles). En nyare uppskattning beräknar dock en total landyta på 304,8 kvadratmil (789,4 kvadratkilometer). Den högsta naturliga punkten i staden är Todt Hill på Staten Island, som med sina 124,9 meter över havet är den högsta kullen på östkusten söder om Maine. Toppen av åsen är till stor del täckt av skogsmark som en del av Staten Island Greenbelt.