I 1829 begyndte der at gå rygter om Peggy Eaton, den nye hustru til krigsminister John Henry Eaton, i samfundet i Washington. Rygterne hævdede, at parrets forhold var begyndt som en udenomsægteskabelig affære, og at Peggys første mand havde begået selvmord, da han fik kendskab til deres forhold. Retsmedicinere konkluderede, at han var død af lungebetændelse, men rygterne holdt ved.
Den voksende skandale, som snart fik tilnavnet Petticoat-affæren, begyndte at splitte Jacksons kabinet. Hustruerne til flere medlemmer af Jacksons kabinet, især Floride Calhoun, hustruen til vicepræsident John C. Calhoun, nægtede at modtage Peggy i Washingtons selskabsliv, og snobbede parret.
President Jackson betragtede behandlingen af Peggy Eaton som uberettiget og uretfærdig. Han drog også sammenligninger med behandlingen af sin egen afdøde hustru. Uden at vide det for Jacksons, var Rachel stadig juridisk gift med sin første mand, da hun giftede sig med Andrew Jackson, da han havde indledt en skilsmissesag mod Rachel, men sagen blev ikke afsluttet. Denne kendsgerning blev opdaget af tilhængere af John Quincy Adams under valget i 1828. De angreb skånselsløst Rachel som en ægteskabsbryder og bigamist. Selv om Rachel havde lidt af dårligt helbred siden 1825, gav Jackson hendes død i december 1828 skylden for hendes død på grund af kampagnens stress. Jackson mente, at samfundet i Washington behandlede Peggy uretfærdigt, ligesom det havde behandlet hans afdøde kone.
Jackson begyndte at lægge pres på sine underordnede for at få dem til at acceptere parret. Emily havde taget parti for den gruppe, der ønskede at afvise Eaton-parret. Da Jackson konfronterede Emily, gav hun efter i nogen grad og inkluderede Peggy i arrangementer i Det Hvide Hus, men Emily gav hende de grundlæggende høflighedsydelser og ikke mere. Situationen spidsede til, da Eatons afviste Jacksons invitation til en middag i Det Hvide Hus i begyndelsen af 1830. Da Jackson spurgte, hvorfor de havde afslået hans invitation, henviste Peggy til Emilys kolde behandling.
Emily og Andrew Jackson rejste til Hermitage for at holde ferie i sommeren 1830. På det tidspunkt var kløften mellem præsidenten og Emily blevet så stor, at Emily nægtede at bo på Hermitage og i stedet valgte at bo i sin mors hus. Da Jackson vendte tilbage til Washington, fulgte Andrew Jackson Donelson med ham, men det gjorde Emily ikke. Jackson bad Emily om at komme tilbage og genoptage sine pligter. Hun nægtede dog at gøre det, så længe Jackson fortsatte med at insistere på Peggy Eatons accept i Det Hvide Hus.
Forrige i 1834 fungerede Sarah Yorke Jackson, præsident Jacksons svigerdatter, som værtinde i Det Hvide Hus. Der er modstridende beretninger om Emily Donelsons fravær fra Det Hvide Hus i løbet af de tre år, hvor Sarah Yorke Jackson fungerede som værtinde. En gruppe forskere mener, at årsagen var hendes behandling af Peggy Eaton, mens andre hævder, at det var hendes forværrede tuberkulose.