Když jeho politickou kariéru zastínila kariéra jeho manželky, začal se Waldorf více angažovat v charitativní oblasti. Stal se guvernérem Peabody Trust a Guy’s Hospital, zatímco jeho zájem o mezinárodní vztahy podnítil jeho angažovanost v Královském institutu mezinárodních vztahů, jehož byl v letech 1935-1949 předsedou. Byl také významným mecenášem města Plymouth a v letech 1939-1944 zastával funkci starosty města. Dne 5. dubna 1929 byl jmenován čestným plukovníkem Devonportské těžké brigády Královského dělostřelectva teritoriální armády se sídlem v Plymouthu.
Astor se poprvé zapojil do koňských dostihů ještě jako student, když za 100 guineí koupil klisnu jménem Conjure. Později koupil další dvě klisny/klisny jménem Maid of the Mist a Popinjay a tyto tři se staly základními klisnami Astorova hřebčína Cliveden, který založil nedaleko svého domova. Stal se úspěšným majitelem a chovatelem a celkem vyhrál 11 klasických dostihů. Byly to: Two Thousand Guineas Stakes: Craig an Eran (1921), Pay Up (1936) a Court Martial (1945); One Thousand Guineas Stakes: Winkipop (1910) a Saucy Sue (1925); Oaks Stakes: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) a Pennycomequick (1929); a St Leger Stakes: Book Law (1927). Proslul tím, že nikdy nevyhrál Derby, ale pětkrát se umístil jako druhý kůň. Kromě těchto úspěchů měl 4 vítěze Eclipse Stakes, 3 vítěze St James’s Palace Stakes a 2 vítěze Champion Stakes. Dodnes drží rekord v počtu vítězů (7) důležitého dostihu Royal Ascot Coronation Stakes. Všechny tyto koně choval a všichni pocházeli z jeho tří zakladatelských klisen.
V roce 1950 se ve špatném zdravotním stavu rozhodl stáhnout z dostihů. Svůj hřebčín předal nejstaršímu synovi Williamovi a rozdělil svůj krevní inventář mezi Williama a nejmladšího syna Jakieho (Johna Jacoba). Oba bratři si hodili mincí a pak si střídavě vybírali plnokrevníky. Nejstarší syn nadále používal své dostihové barvy, světle modrou a růžovou, a Jakieho barvy byly jejich variací.
Během vojenského budování v Německu ve 30. letech 20. století podporovali Astorové entente s Německem, což někteří považovali za appeasement vůči Hitlerovi. Mnozí z jejich spolupracovníků cítili sympatie ke stavu Německa po první světové válce, obávali se komunismu a podporovali postoj britské vlády. Astor zastával antisemitské názory a ve 30. letech 20. století řekl Thomasi Jonesovi, že Německo kritizuje, protože „noviny jsou ovlivňovány těmi firmami, které inzerují ve velké míře v tisku a jsou často pod židovskou kontrolou“. Nancy však byla k nacistům kritická, hlavně pokud šlo o práva žen. Antisemitismus vikomta Astora byl nenásilný a protestoval u Hitlera proti zacházení se Židy.
V roce 1940 naléhali na Nevilla Chamberlaina, aby odstoupil, a podporovali Churchilla jako náhradu. Podpořil také válku proti Německu, když k ní došlo, ačkoli oběma byl nadále nepohodlný Josif Stalin jako spojenec (od roku 1941). Jeho syn David Astor, který se v roce 1948 stal majitelem a redaktorem listu The Observer, nikdy neodpustil Claudu Cockburnovi a jeho zpravodajskému listu The Week útoky na „Cliveden Set“.
Rodina Astorových darovala v roce 1942 panství Cliveden v Buckinghamshire Národnímu fondu.
Viscount Astor zemřel 30. září 1952 v Clivedenu u Taplow v Anglii a byl pohřben v osmibokém chrámu v Clivedenu. Jeho nejstarší syn Bill se stal jeho nástupcem ve funkci vikomta.