Nel 1829, la società di Washington iniziò a ronzare con le voci che circondavano Peggy Eaton, la nuova moglie del segretario alla guerra John Henry Eaton. Le voci affermavano che la relazione della coppia era iniziata come una relazione extraconiugale, e che il primo marito di Peggy si era suicidato quando aveva saputo della loro relazione. Gli esaminatori medici conclusero che era morto di polmonite, ma le voci persistevano.
Lo scandalo crescente, presto soprannominato l’affare Petticoat, cominciò a dividere il gabinetto di Jackson. Le mogli di diversi membri del gabinetto di Jackson, in particolare Floride Calhoun, la moglie del vicepresidente John C. Calhoun, si rifiutarono di ricevere Peggy nella società di Washington, e snobbarono la coppia.
Il presidente Jackson considerò il trattamento di Peggy Eaton ingiusto e ingiusto. Egli fece anche dei paragoni con il trattamento della sua defunta moglie. All’insaputa dei Jackson, Rachel era ancora legalmente sposata con il suo primo marito quando sposò Andrew Jackson, in quanto questi aveva avviato una procedura di divorzio contro Rachel, ma l’azione non fu finalizzata. Questo fatto fu scoperto dai sostenitori di John Quincy Adams durante le elezioni del 1828. Essi attaccarono senza pietà Rachel come adultera e bigama. Sebbene Rachel avesse sofferto di cattiva salute dal 1825, Jackson incolpò la sua morte nel dicembre 1828 per lo stress della campagna elettorale. Jackson credeva che la società di Washington stesse trattando Peggy ingiustamente proprio come aveva trattato la sua defunta moglie.
Jackson cominciò a fare pressione sui suoi subordinati per accettare la coppia. Emily si era schierata con il gruppo che voleva snobbare gli Eaton. Quando Jackson affrontò Emily, lei cedette in qualche modo e incluse Peggy nelle funzioni della Casa Bianca, ma Emily le estese le cortesie di base e niente di più. La situazione precipitò quando gli Eaton rifiutarono l’invito di Jackson ad una cena alla Casa Bianca all’inizio del 1830. Quando Jackson chiese perché avessero declinato il suo invito, Peggy citò il trattamento freddo di Emily.
Emily e Andrew Jackson viaggiarono all’Hermitage per una vacanza nell’estate del 1830. A quel punto la frattura tra il presidente ed Emily era diventata così grande che Emily si rifiutò di rimanere all’Hermitage, scegliendo invece di stare a casa di sua madre. Quando Jackson tornò a Washington, Andrew Jackson Donelson lo accompagnò, ma Emily no. Jackson chiese a Emily di tornare e riprendere i suoi compiti. Tuttavia, lei rifiutò di farlo finché Jackson continuò ad insistere sull’accettazione di Peggy Eaton alla Casa Bianca.
A partire dal 1834, Sarah Yorke Jackson, nuora del presidente Jackson, servì come hostess alla Casa Bianca. Ci sono conti contrastanti circa l’assenza di Emily Donelson dalla Casa Bianca durante i tre anni in cui Sarah Yorke Jackson servì come hostess. Una schiera di studiosi ritiene che la causa sia stata il suo trattamento di Peggy Eaton, mentre altri sostengono che sia stato il peggioramento della sua tubercolosi.