V roce 1829 se washingtonskou společností začaly šířit zvěsti o Peggy Eatonové, nové manželce ministra války Johna Henryho Eatona. Fámy tvrdily, že vztah tohoto páru začal jako mimomanželský poměr a že Peggyin první manžel spáchal sebevraždu, když se o jejich vztahu dozvěděl. Lékaři dospěli k závěru, že zemřel na zápal plic, ale fámy přetrvávaly.
Rostoucí skandál, kterému se brzy začalo přezdívat aféra spodniček, začal rozdělovat Jacksonův kabinet. Manželky několika členů Jacksonova kabinetu, především Floride Calhounová, manželka viceprezidenta Johna C. Calhouna, odmítly přijmout Peggy do washingtonské společnosti a pár odstrkovaly.
Prezident Jackson považoval zacházení s Peggy Eatonovou za neoprávněné a nespravedlivé. Srovnával to také se zacházením se svou vlastní zesnulou manželkou. Jacksonovi nevěděli, že Rachel byla v době sňatku s Andrewem Jacksonem stále právoplatně provdána za svého prvního manžela, neboť ten zahájil proti Rachel rozvodové řízení, které však nebylo dokončeno. Tuto skutečnost zjistili stoupenci Johna Quincyho Adamse během voleb v roce 1828. Nemilosrdně na Rachel útočili jako na cizoložnici a bigamistku. Ačkoli Rachel trpěla špatným zdravím již od roku 1825, Jackson její smrt v prosinci 1828 přičítal stresu z volební kampaně. Jackson se domníval, že washingtonská společnost se k Peggy chová nespravedlivě, stejně jako se chovala k jeho zesnulé manželce.
Jackson začal tlačit na své podřízené, aby dvojici přijali. Emily se postavila na stranu skupiny, která chtěla Eatonovy odstrčit. Když Jackson Emily konfrontoval, poněkud ustoupila a zapojila Peggy do akcí Bílého domu, ale Emily jí poskytla základní zdvořilosti a nic víc. Situace vyvrcholila, když Eatonovi počátkem roku 1830 odmítli Jacksonovo pozvání na večeři v Bílém domě. Když se Jackson zeptal, proč jeho pozvání odmítli, Peggy se odvolala na Emilyino chladné zacházení.
Emily a Andrew Jackson odjeli v létě 1830 na dovolenou do Hermitage. V té době se roztržka mezi prezidentem a Emily natolik prohloubila, že Emily odmítla zůstat v Poustevně a místo toho se rozhodla zůstat v domě své matky. Když se Jackson vrátil do Washingtonu, Andrew Jackson Donelson ho doprovázel, ale Emily ne. Jackson požádal Emily, aby se vrátila a pokračovala ve svých povinnostech. Odmítla to však udělat, dokud Jackson trval na přijetí Peggy Eatonové v Bílém domě.
Od roku 1834 sloužila Sarah Yorke Jacksonová, snacha prezidenta Jacksona, jako hostitelka Bílého domu. O nepřítomnosti Emily Donelsonové v Bílém domě během tří let, kdy Sarah Yorke Jacksonová působila jako hostitelka, existují protichůdné zprávy. Kohorta badatelů se domnívá, že příčinou byla její léčba Peggy Eatonové, zatímco jiní tvrdí, že to byla její zhoršující se tuberkulóza.