År 1829 började det ryktas om Peggy Eaton, den nya hustrun till krigsminister John Henry Eaton, i Washington. Ryktena hävdade att parets förhållande hade börjat som en utomäktenskaplig affär, och att Peggys första make hade begått självmord när han fick reda på deras förhållande. Läkare kom fram till att han hade dött av lunginflammation, men ryktena fortsatte.
Den växande skandalen, som snart fick smeknamnet Petticoat-affären, började splittra Jacksons kabinett. Fruarna till flera medlemmar av Jacksons kabinett, framför allt Floride Calhoun, hustru till vicepresident John C. Calhoun, vägrade att ta emot Peggy i Washingtons societet och nobbade paret.
President Jackson ansåg att behandlingen av Peggy Eaton var omotiverad och orättvis. Han drog också jämförelser med behandlingen av sin egen avlidna hustru. Utan att Jacksons kände till det var Rachel fortfarande juridiskt gift med sin första man när hon gifte sig med Andrew Jackson, eftersom han hade inlett ett skilsmässoförfarande mot Rachel, men handlingen avslutades inte. Detta faktum upptäcktes av John Quincy Adams anhängare under valet 1828. De angrep Rachel skoningslöst som en äktenskapsbrytare och bigamist. Trots att Rachel hade lidit av dålig hälsa sedan 1825 skyllde Jackson hennes död i december 1828 på kampanjens påfrestningar. Jackson ansåg att Washingtons samhälle behandlade Peggy orättvist på samma sätt som det hade behandlat hans avlidna hustru.
Jackson började pressa sina underordnade att acceptera paret. Emily hade ställt sig på den grupp som ville nobba paret Eaton. När Jackson konfronterade Emily gav hon efter något och inkluderade Peggy i Vita husets funktioner, men Emily utsträckte till henne de grundläggande artigheterna och inget mer. Situationen spetsades till när Eatons avböjde Jacksons inbjudan till en middag i Vita huset i början av 1830. När Jackson frågade varför de hade avböjt hans inbjudan hänvisade Peggy till Emilys kalla behandling.
Emily och Andrew Jackson reste till Hermitage på semester sommaren 1830. Vid det laget hade klyftan mellan presidenten och Emily vuxit sig så stor att Emily vägrade att bo på Hermitage och i stället valde att bo hos sin mor. När Jackson återvände till Washington följde Andrew Jackson Donelson med honom, men det gjorde inte Emily. Jackson bad Emily att komma tillbaka och återuppta sina plikter. Hon vägrade dock att göra det så länge Jackson fortsatte att insistera på att Peggy Eaton skulle accepteras i Vita huset.
Med början 1834 tjänstgjorde Sarah Yorke Jackson, president Jacksons svärdotter, som värdinna i Vita huset. Det finns motstridiga uppgifter om Emily Donelsons frånvaro från Vita huset under de tre år som Sarah Yorke Jackson tjänstgjorde som värdinna. En grupp forskare anser att orsaken var hennes behandling av Peggy Eaton, medan andra hävdar att det var hennes förvärrade tuberkulos.