Con su carrera política eclipsada por la de su esposa, Waldorf se dedicó a una mayor implicación en causas benéficas. Se convirtió en gobernador del Peabody Trust y del Guy’s Hospital, mientras que su interés por las relaciones internacionales impulsó su participación en el Royal Institute of International Affairs, del que fue presidente de 1935 a 1949. También fue un considerable benefactor de la ciudad de Plymouth, de la que fue alcalde de 1939 a 1944. El 5 de abril de 1929 fue nombrado Coronel Honorario de la Brigada Pesada de Devonport, con sede en Plymouth, de la Real Artillería del Ejército Territorial.
Astor se involucró por primera vez en las carreras de caballos, mientras era estudiante, cuando compró una potra llamada Conjure por 100 guineas. Más tarde compró otras dos potras/yeguas llamadas Maid of the Mist y Popinjay y estas tres se convirtieron en las yeguas fundadoras de la yeguada Cliveden de Astor, que estableció cerca de su casa. Se convirtió en un exitoso propietario-criador y en total ganó 11 carreras clásicas. Se trata de los siguientes premios: Dos Mil Guineas: Craig an Eran (1921), Pay Up (1936) y Court Martial (1945); Mil Guineas: Winkipop (1910) y Saucy Sue (1925); Oaks: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) y Pennycomequick (1929); y St Leger: Book Law (1927). Es famoso por no haber ganado nunca el Derby, pero tuvo el segundo caballo clasificado 5 veces. Además de estos éxitos, tuvo 4 ganadores de los Eclipse Stakes, 3 ganadores de los St. James’s Palace Stakes y 2 ganadores de los Champion Stakes. A día de hoy sigue teniendo el récord de ganadores (7) de los importantes Coronation Stakes de Royal Ascot. Crió todos estos caballos y todos ellos procedían de sus tres yeguas fundadoras.
En 1950, con la salud deteriorada, decidió retirarse de las carreras. Entregó su yeguada a su hijo mayor William y dividió su ganado entre William y su hijo menor Jakie (John Jacob). Los dos hermanos lanzaron una moneda al aire y eligieron alternativamente el ganado purasangre. El hijo mayor siguió utilizando sus colores de carreras, azul pálido y rosa, y los colores de Jakie eran una variación de los mismos.
Durante la escalada militar en Alemania en la década de 1930, los Astor promovieron la entente con Alemania, considerada por algunos como un apaciguamiento de Hitler. Muchos de sus socios sentían simpatía por el estado de Alemania tras la Primera Guerra Mundial, temían el comunismo y apoyaban la posición del gobierno británico. Astor tenía opiniones antisemitas y en la década de 1930 le dijo a Thomas Jones que se criticaba a Alemania porque «los periódicos están influenciados por esas empresas que se anuncian en gran medida en la prensa y que a menudo están bajo control judío». Sin embargo, Nancy fue crítica con los nazis, sobre todo en lo referente a los derechos de las mujeres. El antisemitismo del vizconde Astor no era violento y protestó ante Hitler por el trato a los judíos.
En 1940, instaron a Neville Chamberlain a dimitir y apoyaron a Churchill como sustituto. También apoyó la guerra contra Alemania cuando se produjo, aunque ambos siguieron sintiéndose incómodos con José Stalin como aliado (a partir de 1941). Su hijo David Astor, que se convirtió en propietario y editor de The Observer en 1948, nunca perdonó a Claud Cockburn y a su periódico The Week por sus ataques al «Cliveden Set».
La familia Astor donó la finca de Cliveden en Buckinghamshire al National Trust en 1942.
Viscount Astor murió el 30 de septiembre de 1952 en Cliveden, cerca de Taplow, Inglaterra, y fue enterrado en el Templo Octogonal de Cliveden. Su hijo mayor, Bill, le sucedió como vizconde.