In 1829 gonsde het in Washington van de geruchten rond Peggy Eaton, de nieuwe echtgenote van minister van Oorlog John Henry Eaton. De geruchten beweerden dat de relatie van het echtpaar was begonnen als een buitenechtelijke affaire, en dat Peggy’s eerste echtgenoot zelfmoord had gepleegd toen hij van hun relatie hoorde. Medische onderzoekers kwamen tot de conclusie dat hij aan longontsteking was overleden, maar de geruchten bleven aanhouden.
Het groeiende schandaal, dat al snel de bijnaam de Petticoat-affaire zou krijgen, begon Jacksons kabinet te splijten. De vrouwen van verschillende leden van Jacksons kabinet, met name Floride Calhoun, de vrouw van vice-president John C. Calhoun, weigerden Peggy te ontvangen in de society van Washington en snauwden het echtpaar af.
President Jackson beschouwde de behandeling van Peggy Eaton als ongerechtvaardigd en oneerlijk. Hij trok ook vergelijkingen met de behandeling van zijn eigen overleden vrouw. De Jacksons wisten niet dat Rachel nog steeds wettelijk getrouwd was met haar eerste echtgenoot toen zij trouwde met Andrew Jackson, want hij was een echtscheidingsprocedure tegen Rachel begonnen, maar de zaak werd niet afgerond. Dit feit werd ontdekt door aanhangers van John Quincy Adams tijdens de verkiezingen van 1828. Zij vielen Rachel genadeloos aan als een overspelige en bigamist. Hoewel Rachel sinds 1825 aan een slechte gezondheid leed, gaf Jackson de schuld van haar dood in december 1828 aan de spanningen van de campagne. Jackson was van mening dat de samenleving in Washington Peggy oneerlijk behandelde, net zoals zij zijn overleden vrouw had behandeld.
Jackson begon zijn ondergeschikten onder druk te zetten om het paar te accepteren. Emily had de kant gekozen van de groep die de Eatons wilde afsnijden. Toen Jackson Emily hiermee confronteerde, gaf zij enigszins toe en betrok Peggy bij Witte Huis-functies, maar Emily verleende haar de elementaire beleefdheidsvormen en niets meer. De situatie kwam tot een hoogtepunt toen de Eatons begin 1830 Jacksons uitnodiging voor een diner in het Witte Huis afsloegen. Toen Jackson vroeg waarom ze de uitnodiging hadden afgewezen, noemde Peggy de kille behandeling van Emily.
Emily en Andrew Jackson reisden in de zomer van 1830 naar l’Hermitage voor een vakantie. Tegen die tijd was de kloof tussen de president en Emily zo groot geworden dat Emily weigerde in l’Hermitage te verblijven en in plaats daarvan verkoos in het huis van haar moeder te gaan wonen. Toen Jackson naar Washington terugkeerde, ging Andrew Jackson Donelson met hem mee, maar Emily niet. Jackson vroeg Emily terug te komen en haar taken te hervatten. Zij weigerde dit echter zolang Jackson bleef aandringen op toelating van Peggy Eaton in het Witte Huis.
Beginnend in 1834 diende Sarah Yorke Jackson, de schoondochter van President Jackson, als gastvrouw van het Witte Huis. Er zijn tegenstrijdige verslagen over Emily Donelson’s afwezigheid uit het Witte Huis gedurende de drie jaar dat Sarah Yorke Jackson als gastvrouw fungeerde. Een groep geleerden gelooft dat de oorzaak lag in haar behandeling van Peggy Eaton, terwijl anderen beweren dat het haar verergerende tuberculose was.