Po przyćmieniu kariery politycznej przez karierę żony, Waldorf zwrócił się ku większemu zaangażowaniu w sprawy charytatywne. Został gubernatorem Peabody Trust i Guy’s Hospital, podczas gdy jego zainteresowanie stosunkami międzynarodowymi napędzało jego zaangażowanie w Królewski Instytut Spraw Międzynarodowych, a on służył jako jego przewodniczący od 1935 do 1949 roku. Był również znaczącym dobroczyńcą miasta Plymouth i pełnił funkcję Lorda Burmistrza w latach 1939-1944. Został mianowany honorowym pułkownikiem Devonport, Plymouth-based Devonshire Heavy Brigade, Royal Artillery of the Territorial Army w dniu 5 kwietnia 1929.
Astor po raz pierwszy zaangażował się w wyścigi konne, podczas gdy undergraduate, kiedy kupił klacz o nazwie Conjure za 100 gwinei. Później kupił dwie inne klaczki zwane Maid of the Mist i Popinjay i te trzy stały się klaczami założycielskimi stadniny Astora w Cliveden, którą założył niedaleko swojego domu. Stał się odnoszącym sukcesy właścicielem-hodowcą i w sumie wygrał 11 wyścigów klasycznych. Były to: Two Thousand Guineas Stakes:- Craig an Eran (1921), Pay Up (1936) i Court Martial (1945); One Thousand Guineas Stakes:- Winkipop (1910) i Saucy Sue (1925); Oaks Stakes:- Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) i Pennycomequick (1929); oraz St Leger Stakes:- Book Law (1927). Sławę przyniósł mu fakt, że nigdy nie wygrał Derby, ale 5 razy był koniem, który zajął drugie miejsce. Oprócz tych sukcesów miał 4 zwycięzców Eclipse Stakes, 3 zwycięzców St James’s Palace Stakes i 2 zwycięzców Champion Stakes. Do dziś jest rekordzistą pod względem liczby zwycięzców (7) ważnej gonitwy Coronation Stakes w Royal Ascot. Wyhodował wszystkie te konie i wszystkie one wywodziły się od jego trzech klaczy założycielskich.
W 1950 roku, w złym stanie zdrowia, postanowił wycofać się z wyścigów. Przekazał swoją stadninę najstarszemu synowi Williamowi i podzielił swój tabor między Williama i najmłodszego syna Jakiego (Johna Jacoba). Obaj bracia rzucali monetą, a następnie na zmianę wybierali stado koni pełnej krwi. Najstarszy syn kontynuował korzystanie z jego wyścigów kolory bladoniebieskie i różowe i Jakie kolory były wariacją na ten temat.
Podczas militarnej rozbudowy w Niemczech w 1930 roku, Astors promowane entente z Niemcami, postrzegane przez niektórych jako uspokojenie Hitlera. Wielu z ich współpracowników odczuwało sympatię dla stanu Niemiec po I wojnie światowej, obawiało się komunizmu i popierało stanowisko rządu brytyjskiego. Astor miał antysemickie poglądy i w latach 30. powiedział Thomasowi Jonesowi, że Niemcy są krytykowane, ponieważ „gazety są pod wpływem tych firm, które reklamują się w prasie w tak dużym stopniu i często są pod kontrolą Żydów”. Jednak Nancy była krytyczna wobec nazistów, głównie w kwestii praw kobiet. Antysemityzm wicehrabiego Astora nie był agresywny i protestował do Hitlera w sprawie traktowania Żydów.
W 1940 roku, namawiali Neville’a Chamberlaina do rezygnacji i wspierali Churchilla jako zastępcę. On również poparł wojnę z Niemcami, kiedy to przyszło, choć obaj pozostali niewygodne z Józefem Stalinem jako sojusznika (od 1941). Jego syn David Astor, który stał się właścicielem i redaktorem The Observer w 1948 roku, nigdy nie wybaczył Claud Cockburn i jego newssheet The Week za ataki na „Cliveden Set”.
Rodzina Astorów przekazała Cliveden Estate w Buckinghamshire do National Trust w 1942 roku.
Viscount Astor zmarł 30 września 1952 roku w Cliveden pobliżu Taplow, Anglia, i został pochowany w świątyni Octagon Temple w Cliveden. Jego najstarszy syn Bill zastąpił go jako Viscount.
.