1829年、ワシントン社会は陸軍長官ジョン・ヘンリー・イートンの新妻ペギー・イートンをめぐる噂でざわつき始めた。 この噂は、二人の関係が不倫関係から始まったというもので、ペギーの最初の夫は二人の関係を知って自殺したというものであった。
「ペティコート事件」と呼ばれるようになったスキャンダルは、ジャクソン内閣を分裂させ始めた。 ジャクソン内閣の何人かの閣僚の妻、特にジョン・C・カルフーン副大統領の妻フロライド・カルフーンは、ペギーをワシントン社交界に迎え入れることを拒否し、夫婦を冷遇した。
ジャクソン大統領はペギー・イートンに対する扱いを不当かつ不公平なものとみなした。 また、自分の亡き妻への仕打ちと比較することもあった。 ジャクソン夫妻は知らなかったが、レイチェルはアンドリュー・ジャクソンと結婚したとき、最初の夫とまだ法的に結婚していた。彼はレイチェルに対して離婚手続きを開始したが、その行為は確定していなかったからである。 この事実は、1828年の選挙中にジョン・クインシー・アダムスの支持者たちによって発覚した。 彼らはレイチェルを姦通者、重婚者として容赦なく攻撃した。 レイチェルは1825年から体調を崩していたが、ジャクソンは1828年12月の彼女の死を選挙戦のストレスのせいとした。 ジャクソンは、ワシントン社会がペギーに不当な扱いをしているのは、亡き妻にしたのと同じことだと考えた
ジャクソンは、部下に二人を受け入れるよう圧力をかけ始めた。 エミリーは、イートン夫妻を排斥しようとするグループの側に立っていたのです。 ジャクソンがエミリーに問いただすと、エミリーはやや譲歩し、ペギーをホワイトハウスの行事に参加させるが、エミリーはペギーに基本的な礼儀作法を教えるだけで、それ以上のことはしなかった。 1830年初頭、イートン一家がジャクソンからのホワイトハウスでの晩餐会への招待を断ると、事態は収拾に向かった。 9818>
エミリーとアンドリュー・ジャクソンは、1830年の夏、休暇を利用してハーミテージに滞在した。 その頃には大統領とエミリーの間に溝ができ、エミリーはハーミテージに滞在することを拒否し、母親の家に滞在することを選択した。 ジャクソンがワシントンに戻ったとき、アンドリュー・ジャクソン・ドネルソンは同行したが、エミリーは同行しなかった。 ジャクソンはエミリーに戻って職務を再開するよう求めた。 しかし、ジャクソンがペギー・イートンをホワイトハウスに迎え入れることを主張し続ける限り、エミリーはそれを拒否した。
1834年から、ジャクソン大統領の義理の娘、サラ・ヨーク・ジャクソンがホワイトハウスのホステスを務める。 サラ・ヨーク・ジャクソンがホステスを務めていた3年間にエミリー・ドネルソンがホワイトハウスを不在にしていたことについては、相反する説明がある。 ペギー・イートンの治療が原因という学者もいれば、結核の悪化が原因という学者もいる
。