Nadat zijn politieke carrière werd overschaduwd door die van zijn vrouw, raakte Waldorf meer betrokken bij liefdadige doelen. Hij werd gouverneur van de Peabody Trust en Guy’s Hospital, terwijl zijn belangstelling voor internationale betrekkingen hem ertoe aanzette zich in te zetten voor het Royal Institute of International Affairs, waarvan hij van 1935 tot 1949 voorzitter was. Hij was ook een belangrijke weldoener voor de stad Plymouth, waarvan hij van 1939 tot 1944 burgemeester was. Op 5 april 1929 werd hij benoemd tot ere-kolonel van de Devonport, in Plymouth gevestigde Devonshire Heavy Brigade, Royal Artillery van het Territorial Army.
Astor raakte voor het eerst betrokken bij de paardenrennen, toen hij als student een merrieveulen genaamd Conjure kocht voor 100 guineas. Later kocht hij nog twee merrieveulens, Maid of the Mist en Popinjay, en deze drie werden de stammerries van Astor’s Cliveden Stud, die hij vlakbij zijn huis vestigde. Hij werd een succesvolle eigenaar-fokker en won in totaal 11 Classic races. Dit waren: Tweeduizend Guineas Stakes: Craig an Eran (1921), Pay Up (1936) en Court Martial (1945); Duizend Guineas Stakes: Winkipop (1910) en Saucy Sue (1925); Oaks Stakes: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) en Pennycomequick (1929); en St Leger Stakes: Book Law (1927). Hij won nooit de Derby, maar was wel 5 keer het tweede geplaatste paard. Naast deze successen had hij 4 winnaars van de Eclipse Stakes, 3 winnaars van de St. James’s Palace Stakes en 2 winnaars van de Champion Stakes. Tot op de dag van vandaag houdt hij het record voor het aantal winnaars (7) van de belangrijke Coronation Stakes van Royal Ascot. Hij fokte al deze paarden en ze stamden allemaal af van zijn drie stammerries.
In 1950, in slechte gezondheid, besloot hij zich terug te trekken uit de racerij. Hij droeg zijn stoeterij over aan zijn oudste zoon William en verdeelde zijn bloedstapel tussen William en zijn jongste zoon Jakie (John Jacob). De twee broers gooiden een muntje op en kozen om beurten voor de volbloedstapel. De oudste zoon bleef zijn racekleuren lichtblauw en roze gebruiken en de kleuren van Jakie waren een variatie hierop.
Tijdens de militaire opbouw in Duitsland in de jaren 1930, bevorderden de Astors een entente met Duitsland, door sommigen gezien als verzoening met Hitler. Veel van hun medewerkers voelden sympathie voor de toestand van Duitsland na de Eerste Wereldoorlog, vreesden het communisme, en steunden het standpunt van de Britse regering. Astor had antisemitische opvattingen en in de jaren 1930 vertelde hij Thomas Jones dat Duitsland werd bekritiseerd omdat: “Kranten worden beïnvloed door die firma’s die zo veel in de pers adverteren en die vaak onder Joodse controle staan.” Nancy stond echter kritisch tegenover de nazi’s, vooral op het gebied van de rechten van de vrouw. Burggraaf Astor’s antisemitisme was niet gewelddadig en hij protesteerde bij Hitler over de behandeling van de Joden.
In 1940 drongen zij er bij Neville Chamberlain op aan af te treden en steunden Churchill als vervanger. Hij steunde ook de oorlog tegen Duitsland toen die er kwam, hoewel beiden zich ongemakkelijk bleven voelen bij Jozef Stalin als bondgenoot (vanaf 1941). Zijn zoon David Astor, die in 1948 eigenaar en redacteur van The Observer werd, heeft Claud Cockburn en zijn nieuwsblad The Week nooit vergeven voor aanvallen op de “Cliveden Set”.
De familie Astor schonk Cliveden Estate in Buckinghamshire in 1942 aan de National Trust.
Viscount Astor overleed op 30 september 1952 in Cliveden bij Taplow, Engeland, en werd begraven in de Octagon Temple op Cliveden. Zijn oudste zoon Bill volgde hem op als Burggraaf.