Im Jahr 1829 begannen in der Washingtoner Gesellschaft die Gerüchte um Peggy Eaton, die neue Frau des Kriegsministers John Henry Eaton, zu brodeln. Die Gerüchte besagten, dass die Beziehung des Paares mit einer außerehelichen Affäre begonnen hatte und dass Peggys erster Ehemann Selbstmord begangen hatte, als er von der Beziehung erfuhr. Die Gerichtsmediziner kamen zu dem Schluss, dass er an einer Lungenentzündung gestorben war, aber die Gerüchte hielten sich hartnäckig.
Der wachsende Skandal, der bald den Spitznamen „Petticoat-Affäre“ erhielt, begann Jacksons Kabinett zu spalten. Die Ehefrauen mehrerer Mitglieder von Jacksons Kabinett, insbesondere Floride Calhoun, die Frau von Vizepräsident John C. Calhoun, weigerten sich, Peggy in die Washingtoner Gesellschaft aufzunehmen und brüskierten das Paar.
Präsident Jackson betrachtete die Behandlung von Peggy Eaton als ungerechtfertigt und unfair. Er zog auch Vergleiche mit der Behandlung seiner eigenen verstorbenen Frau. Was die Jacksons nicht wussten, war, dass Rachel rechtlich noch mit ihrem ersten Mann verheiratet war, als sie Andrew Jackson heiratete, da dieser ein Scheidungsverfahren gegen Rachel eingeleitet hatte, das jedoch nicht abgeschlossen wurde. Diese Tatsache wurde von den Anhängern von John Quincy Adams während der Wahl von 1828 entdeckt. Sie griffen Rachel gnadenlos als Ehebrecherin und Bigamistin an. Obwohl Rachel seit 1825 an einer Krankheit litt, machte Jackson für ihren Tod im Dezember 1828 die Strapazen des Wahlkampfs verantwortlich. Jackson glaubte, dass die Washingtoner Gesellschaft Peggy genauso ungerecht behandelte wie seine verstorbene Frau.
Jackson begann, seine Untergebenen unter Druck zu setzen, damit sie das Paar akzeptierten. Emily hatte sich auf die Seite der Gruppe gestellt, die die Eatons brüskieren wollte. Als Jackson Emily damit konfrontierte, lenkte sie ein und bezog Peggy in die Veranstaltungen des Weißen Hauses ein, aber Emily gewährte ihr nur die grundlegenden Höflichkeiten und nicht mehr. Die Situation spitzte sich zu, als die Eatons Jacksons Einladung zu einem Abendessen im Weißen Haus Anfang 1830 ablehnten. Als Jackson sich erkundigte, warum sie seine Einladung abgelehnt hatten, führte Peggy Emilys kalte Behandlung an.
Emily und Andrew Jackson reisten im Sommer 1830 zu einem Urlaub in die Hermitage. Zu diesem Zeitpunkt war das Zerwürfnis zwischen dem Präsidenten und Emily so groß geworden, dass Emily sich weigerte, in der Hermitage zu wohnen und stattdessen das Haus ihrer Mutter wählte. Als Jackson nach Washington zurückkehrte, begleitete Andrew Jackson Donelson ihn, Emily jedoch nicht. Jackson bat Emily, zurückzukommen und ihren Dienst wieder aufzunehmen. Sie weigerte sich jedoch, dies zu tun, solange Jackson weiterhin auf Peggy Eatons Aufnahme im Weißen Haus bestand.
Ab 1834 diente Sarah Yorke Jackson, die Schwiegertochter von Präsident Jackson, als Hostess im Weißen Haus. Es gibt widersprüchliche Berichte über die Abwesenheit von Emily Donelson im Weißen Haus während der drei Jahre, in denen Sarah Yorke Jackson als Gastgeberin diente. Einige Wissenschaftler glauben, dass der Grund dafür ihre Behandlung von Peggy Eaton war, während andere behaupten, dass es ihre sich verschlimmernde Tuberkulose war.