Alexander Hamiltonは、他の多くのアメリカ建国の父と異なり、富と名声のある家庭に生まれたわけではなかった。 二人の関係は険悪で、ラヴィエンはたびたび彼女を殴った。 ラヴィエンがある喧嘩の後、ラシェリンを短期間投獄した後、彼女は夫と息子を残してカリブ海のネイビス島とセント・キッツ島に逃亡した。 その間にレイチェルは1751年にジェームズ・ハミルトンと出会い、正式にラヴィアンと離婚していないにもかかわらず、約15年間彼と暮らした。 ジェームズ・ハミルトンとレイチェル・ラヴィアンの間には、1753年に生まれたジェームズと、アレクサンダーの2人の息子がいた。 興味深いことに、アレクサンダー・ハミルトンの正確な生年は、歴史家が2組の出生記録を発見したため不明である。 一方は1755年1月11日に生まれたとし、もう一方は1757年に生まれたとしている。 ハミルトン自身は1757年生まれと主張している。
アレクサンダー・ハミルトンの家族は貧しく、少年たちに正規の教育を与える余裕はなかったが、後にアレクサンダーはユダヤ人学校で短期間勉強したことを回想している。 アレクサンダーが10歳になったとき、彼と彼の家族はセントクロイ島に戻った。 レイチェルがまだジョン・ラヴィアンと結婚していることを知ったジェームズ・ハミルトン・シニアは、レイチェルと2人の息子を残してネイヴィスとセント・キッツに戻った。 アレキサンダーは残りの人生を父と過ごしたが、ジェームズ・ハミルトン・シニアに再び会うことはなかった。 1768年にレイチェルが熱病で亡くなったとき、アレクサンダーとその息子はさらなる悲劇に直面した。 さらに悪いことに、ジョン・ラヴィアンはレイチェル・フォーセットが息子たちに残したわずかな遺産を奪い、その金を彼とレイチェルの息子であるピーターに与えてしまったのである。 ジェームズ・ハミルトン・ジュニアとアレキサンダー・ハミルトンは、年上のいとこの家に1年間滞在したが、いとこが自殺したため、その家を後にした。 そのため、10代のアレキサンダーは、ニコラス・クルーガー（カリブ海全域と、後に米国となる英国植民地と貿易を行う商人）の下で事務員を務めるようになる。 クルーガーは、すぐにアレクサンダーの天才的な才能を見抜いた。 彼はわずか15歳であったにもかかわらず、数学とビジネスの才能に恵まれ、優れた出費と利益の帳簿をつけ、地元当局や船長とコミュニケーションをとり、年齢にしては極めて上手に文章を書くことができた。 実際、若き日のハミルトンは、地元の新聞にいくつかの手紙や小さな詩集を発表し、セントクロイで有名になった。クルーガーが仕事で島を離れるときは、たいていアレクサンダーに会社を任せた。 しかし、同時に、ハミルトンは島を出て、世界の他の地域、特に本土のイギリス植民地を見ることを切望していた。 また、学校に通いたいとも思っていた。しかし、生い立ちが悪く、お金もないため、その夢はかなわぬものと思っていた。 幸いなことに、地元の長老派教会の牧師であるヒュー・ノックス牧師は、アレクサンダーの知性を認め、セントクロイを離れて植民地の大学に通うように勧めた。 ノックスは特にハミルトンを長老派が運営するニュージャージー大学（後にプリンストン大学として知られるようになる）に入学させようとした。 著名な実業家であるクルーガーの影響力により、ノックスはアレクサンダーのためにニュージャージー・カレッジでの面接を確保した。1772年10月、ハミルトンはセントクロイからニューヨークへ向かった。 乗船後、セントクロイやカリブ海の他の地域に戻る気は全く起こらず、ニューヨークに上陸すると、すぐに米国を新天地としたと後に回想している。