În comparație cu mulți dintre ceilalți Părinți Fondatori ai Americii, Alexander Hamilton nu s-a născut într-o familie bogată și cu titluri de proprietate.Mama lui Hamilton, Rachel Fawcett, s-a căsătorit cu plantatorul de zahăr John Lavien pe insula St. Croix în anii 1740. Relația lor a fost tumultuoasă, iar Lavien o bătea frecvent. După ce Lavien a închis-o pe Rachelimpentru o perioadă scurtă de timp după o bătaie, aceasta și-a părăsit soțul și fiul și a fugit în insulele Nevis și St. Kitts din Caraibe. În timp ce se afla acolo, Rachel l-a întâlnit pe James Hamilton în 1751 și a trăit cu el timp de aproape cincisprezece ani, chiar dacă nu divorțase în mod oficial de Lavien. James Hamilton și Rachel Lavien au avut împreună doi fii:James, care s-a născut în 1753, și Alexander. Interesant este faptul că anul exact al nașterii lui Alexander Hamilton este necunoscut, deoarece istoricii au găsit două seturi de acte de naștere. Un set susține că Hamilton s-a născut la 11 ianuarie 1755, în timp ce celălalt spune că s-a născut în 1757. Hamilton însuși a susținut că s-a născut în 1757.
Familia lui Alexander Hamilton era prea săracă pentru a-și permite o școlarizare regulată pentru băieți, deși Alexander și-a amintit mai târziu că a studiat pentru o scurtă perioadă de timp la o școală evreiască. Când Alexander a împlinit zece ani, el și familia sa s-au mutat înapoi pe insula St.Croix. După ce a descoperit că Rachel era încă căsătorită din punct de vedere tehnic cu John Lavien, James Hamilton, Sr. s-a întors în Nevis și St. Kitts,lăsând-o în urmă pe Rachel și pe cei doi fii ai săi. Deși Alexander i-a scris tatălui său pentru tot restul vieții sale, nu l-a mai văzut niciodată pe James Hamilton,Sr. Alexander și ai săi s-au confruntat cu o nouă tragedie când Rachela murit de febră în 1768. Și mai rău, John Lavien a luat mica moștenire pe care Rachel Fawcett o lăsase fiilor ei și a dat banii fiului său și al lui Rachel, Peter. James Hamilton, Jr. și AlexanderHamilton au plecat să locuiască timp de un an la un văr mai mare, dar au plecat când vărul s-a sinucis. Fără bani și fără familie, cei doi băieți au rămas orfani în sărăcie.
Pentru a se descurca, adolescentul Alexander a devenit funcționar pentru Nicholas Cruger, un negustor care făcea comerț în toată zona Caraibelor și cu coloniile britanice care aveau să devină mai târziu Statele Unite. Cruger a recunoscut rapid intensitatea geniului lui Alexander. Chiar dacă avea doar cincisprezece ani, Alexander avea un dar pentru matematică și afaceri; putea ține registre excelente de cheltuieli și profituri, putea comunica cu autoritățile locale și cu căpitanii de vas și putea scrie extrem de bine pentru vârsta sa. De fapt, tânărul Hamilton a publicat mai multe scrisori și mici colecții de poezii în ziarul local care l-au făcut celebru în St. Croix.Când Cruger pleca de pe insulă în scopuri de afaceri, de obicei îl lăsa pe Alexander la conducerea companiei. Lui Alexander îi plăcea munca,care îl provoca și îl forța să își folosească puterea rațiunii.
În același timp, însă, Hamilton își dorea să părăsească insula și să vadă restul lumii, în special coloniile britanice de pe continent. Hamilton dorea, de asemenea, să meargă la școală,dar simțea că acest vis era puțin probabil pentru că era de naștere necorespunzătoare și nu avea bani. Din fericire pentru Hamilton, reverendul Hugh Knox, preot la biserica presbiteriană locală, a recunoscut inteligența lui Alexander și l-a încurajat să părăsească St. Croix pentru a urma o facultate în colonii. Knox dorea în mod special ca Hamilton să urmeze cursurile Colegiului din New Jersey, condus de prezbiterieni, care mai târziu a devenit cunoscut sub numele de Universitatea Princeton. Influența lui Cruger ca om de afaceri proeminent l-a ajutat pe Knox să îi asigure lui Alexander un interviu la Colegiul din New Jersey.În octombrie 1772, Hamilton a părăsit St. Croix pentru New York. El și-a amintit mai târziu că, după ce s-a îmbarcat pe vas, nu a mai avut niciodată dorința de a se întoarce în St. Croix sau în orice altă parte a Caraibelor, iar odată ce a debarcat în New York, a făcut rapid din Statele Unite noua sa casă.