Con la sua carriera politica eclissata da quella di sua moglie, Waldorf si rivolse ad un maggiore coinvolgimento nelle cause caritatevoli. Divenne governatore del Peabody Trust e del Guy’s Hospital, mentre il suo interesse per le relazioni internazionali alimentò il suo coinvolgimento con il Royal Institute of International Affairs, di cui fu presidente dal 1935 al 1949. Fu anche un notevole benefattore della città di Plymouth, di cui fu sindaco dal 1939 al 1944. Fu nominato colonnello onorario della Devonport, Devonshire Heavy Brigade, Royal Artillery del Territorial Army con sede a Plymouth, il 5 aprile 1929.
Astor fu coinvolto per la prima volta nelle corse di cavalli, mentre era studente universitario, quando acquistò una puledra chiamata Conjure per 100 ghinee. In seguito comprò altre due puledre chiamate Maid of the Mist e Popinjay e queste tre divennero le fattrici fondatrici di Astor’s Cliveden Stud che stabilì vicino a casa sua. Divenne un proprietario-allevatore di successo e in tutto vinse 11 corse classiche. Queste erano: Two Thousand Guineas Stakes:- Craig an Eran (1921), Pay Up (1936) e Court Martial (1945); One Thousand Guineas Stakes:- Winkipop (1910) e Saucy Sue (1925); Oaks Stakes:- Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) e Pennycomequick (1929); e St Leger Stakes:- Book Law (1927). Notoriamente non vinse mai il Derby ma ebbe il secondo cavallo piazzato 5 volte. Oltre a questi successi ebbe 4 vincitori dell’Eclipse Stakes, 3 vincitori del St. James’s Palace Stakes e 2 vincitori del Champion Stakes. Ancora oggi detiene il record per il numero di vincitori (7) dell’importante Coronation Stakes del Royal Ascot. Allevò tutti questi cavalli e tutti provenivano dalle sue tre cavalle di fondazione.
Nel 1950, in cattive condizioni di salute, decise di ritirarsi dalle corse. Consegnò la sua scuderia al suo figlio maggiore William e divise il suo bestiame tra William e il suo figlio minore Jakie (John Jacob). I due fratelli lanciarono una moneta e poi presero le scelte alternate del bestiame purosangue. Il figlio maggiore continuò ad usare i suoi colori da corsa di blu pallido e rosa e i colori di Jakie erano una variazione su questo.
Durante l’accumulo militare in Germania negli anni ’30, gli Astori promossero l’intesa con la Germania, vista da alcuni come una pacificazione di Hitler. Molti dei loro associati provavano simpatia per lo stato della Germania dopo la prima guerra mondiale, temevano il comunismo e sostenevano la posizione del governo britannico. Astor aveva opinioni antisemite e negli anni ’30 disse a Thomas Jones che la Germania veniva criticata perché “i giornali sono influenzati da quelle ditte che fanno così tanta pubblicità sulla stampa e sono spesso sotto il controllo degli ebrei”. Tuttavia, Nancy fu critica nei confronti dei nazisti, soprattutto sui diritti delle donne. L’antisemitismo del visconte Astor era non violento e protestò con Hitler per il trattamento degli ebrei.
Nel 1940, sollecitarono Neville Chamberlain a dimettersi e supportarono Churchill come sostituto. Appoggiò anche la guerra contro la Germania quando venne, anche se entrambi rimasero a disagio con Joseph Stalin come alleato (dal 1941). Suo figlio David Astor, che divenne proprietario ed editore di The Observer nel 1948, non perdonò mai Claud Cockburn e il suo giornale The Week per gli attacchi al “Cliveden Set”.
La famiglia Astor donò Cliveden Estate nel Buckinghamshire al National Trust nel 1942.
Viscount Astor morì il 30 settembre 1952 a Cliveden vicino Taplow, Inghilterra, e fu sepolto nel Tempio Ottagono di Cliveden. Il suo figlio maggiore Bill gli succedette come visconte.