New York City ligger på kysten i det nordøstlige USA ved mundingen af Hudson-floden i den sydøstlige delstat New York. Den ligger i New York-New Jersey Harbor Estuary, hvis centrum er New York Harbor, hvis dybe vand og beskyttede bugter bidrog til, at byen voksede i betydning som handelsby. En stor del af New York er bygget på de tre øer Manhattan, Staten Island og den vestlige del af Long Island, hvilket gør jorden knap og tilskynder til en høj befolkningstæthed.
Hudson River løber fra Hudson Valley ud i New York Bay og bliver til en tidevandsmunding, der adskiller Bronx og Manhattan fra det nordlige New Jersey. Harlem River, et andet tidevandssund mellem East River og Hudson River, adskiller Manhattan fra Bronx.
Boroughs i New York City ligger på grænsen mellem to geologiske provinser i det østlige Nordamerika. Brooklyn og Queens, der ligger på Long Island, er en del af den østlige kystslette. Long Island er en massiv moræne, som blev dannet i den sydlige udkant af Laurentide-indlandsisen under den sidste istid. Bronx og Manhattan ligger på den østlige kant af Newarkbassinet, en blok af jordskorpen, som sank nedad under superkontinentet Pangæas opløsning i triastiden. Palisades Sill på New Jersey-kysten af Hudson-floden afslører gamle, engang smeltede sten, der engang fyldte bassinet. Hårde metamorfe bjergarter ligger til grund for en stor del af Manhattan og giver solid støtte til de mange skyskrabere.
Byens jord er blevet ændret betydeligt af menneskelig indgriben, idet der siden den hollandske kolonitid er sket en betydelig landvinding langs vandkanten. Rekognosceringen er mest bemærkelsesværdig i Lower Manhattan med moderne bebyggelser som Battery Park City. En stor del af de naturlige variationer i topografien er blevet udjævnet, især på Manhattan. På Manhattans vestlige side er der stadig nogle bakker, især på Upper Manhattan, mens den østlige side er blevet betydeligt fladere. Duffy’s Hill i East Harlem er en bemærkelsesværdig undtagelse fra East Side’s relativt jævne niveau.
Byens landareal anslås til at være 830 km2. Et nyere skøn beregner dog et samlet landareal på 304,8 kvadrat miles (789,4 km2). Det højeste naturlige punkt i byen er Todt Hill på Staten Island, som med en højde på 124,9 m over havets overflade er den højeste bakke på østkysten syd for Maine. Toppen af højderyggen er stort set dækket af skovområder som en del af Staten Island Greenbelt.