En 1829, la sociedad de Washington comenzó a bullir con los rumores que rodeaban a Peggy Eaton, la nueva esposa del Secretario de Guerra John Henry Eaton. Los rumores afirmaban que la relación de la pareja había comenzado como una aventura extramatrimonial, y que el primer marido de Peggy se había suicidado al enterarse de su relación. Los examinadores médicos concluyeron que había muerto de neumonía, pero los rumores persistieron.
El creciente escándalo, que pronto sería apodado el asunto de las enaguas, comenzó a dividir al Gabinete de Jackson. Las esposas de varios miembros del gabinete de Jackson, sobre todo Floride Calhoun, la esposa del vicepresidente John C. Calhoun, se negaron a recibir a Peggy en la sociedad de Washington, y desairaron a la pareja.
El presidente Jackson consideraba el tratamiento de Peggy Eaton como injustificado e injusto. Tambien hizo comparaciones con el trato recibido por su propia esposa. Sin que los Jackson lo supieran, Rachel seguía legalmente casada con su primer marido cuando se casó con Andrew Jackson, ya que éste había iniciado un proceso de divorcio contra Rachel, pero la acción no se concretó. Este hecho fue descubierto por los partidarios de John Quincy Adams durante las elecciones de 1828. Atacaron sin piedad a Rachel como adúltera y bígama. Aunque Rachel sufría de mala salud desde 1825, Jackson achacó su muerte en diciembre de 1828 al estrés de la campaña. Jackson creía que la sociedad de Washington estaba tratando a Peggy injustamente al igual que había tratado a su difunta esposa.
Jackson comenzó a presionar a sus subordinados para que aceptaran a la pareja. Emily se había puesto del lado del grupo que quería despreciar a los Eaton. Cuando Jackson se enfrentó a Emily, ésta cedió un poco e incluyó a Peggy en los actos de la Casa Blanca, pero Emily le extendió las cortesías básicas y nada más. La situación llegó a un punto crítico cuando los Eaton rechazaron la invitación de Jackson a una cena en la Casa Blanca a principios de 1830. Cuando Jackson preguntó por qué habían rechazado su invitación, Peggy citó el trato frío de Emily.
Emily y Andrew Jackson viajaron al Hermitage para pasar unas vacaciones en el verano de 1830. Para entonces, el distanciamiento entre el presidente y Emily había crecido tanto que Emily se negó a quedarse en el Hermitage, prefiriendo quedarse en casa de su madre. Cuando Jackson regresó a Washington, Andrew Jackson Donelson le acompañó, pero Emily no. Jackson le pidió a Emily que volviera y retomara sus funciones. Sin embargo, ella se negó a hacerlo mientras Jackson siguiera insistiendo en la aceptación de Peggy Eaton en la Casa Blanca.
A partir de 1834, Sarah Yorke Jackson, nuera del presidente Jackson, ejerció de anfitriona de la Casa Blanca. Existen relatos contradictorios sobre la ausencia de Emily Donelson en la Casa Blanca durante los tres años en que Sarah Yorke Jackson ejerció de anfitriona. Una cohorte de estudiosos cree que la causa fue su tratamiento de Peggy Eaton, mientras que otros sostienen que fue su empeoramiento de la tuberculosis.