Com a sua carreira política eclipsada pela da sua esposa, Waldorf voltou-se para um maior envolvimento em causas caritativas. Tornou-se governador do Peabody Trust e do Guy’s Hospital, enquanto o seu interesse pelas relações internacionais alimentou o seu envolvimento com o Royal Institute of International Affairs, e serviu como seu presidente de 1935 a 1949. Ele também foi um benfeitor considerável da cidade de Plymouth, e serviu como seu Senhor Prefeito de 1939 a 1944. Ele foi nomeado Coronel Honorário do Devonport, Brigada Pesada de Devonshire, Base de Plymouth, Artilharia Real do Exército Territorial a 5 de Abril de 1929.
Astor envolveu-se pela primeira vez em corridas de cavalos, enquanto que um estudante de graduação, quando comprou uma potra chamada Conjure por 100 guinéus. Mais tarde ele comprou duas outras potras/mares chamadas Maid of the Mist e Popinjay e estas três se tornaram as éguas de fundação da Coudelaria Cliveden de Astor que ele estabeleceu perto de sua casa. Ele se tornou um criador-proprietário de sucesso e ao todo venceu 11 corridas clássicas. Estas foram: Duas Mil Estacas de Guineas: – Craig an Eran (1921), Pay Up (1936) e Court Martial (1945); Uma Estaca de Mil Guineas: – Winkipop (1910) e Saucy Sue (1925); Oaks Stakes: – Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) e Pennycomequick (1929); e St Leger Stakes: – Book Law (1927). Ele famoso nunca ganhou o Derby, mas teve o segundo colocado 5 vezes. Além desses sucessos, ele teve 4 vencedores do Eclipse Stakes, 3 vencedores do St. James’s Palace Stakes e 2 vencedores do Champion Stakes. Até hoje ele ainda detém o recorde do número de vencedores (7) da importante Estaca de Coroação do Royal Ascot. Ele criou todos estes cavalos e todos eles emanaram das suas três éguas de fundação.
Em 1950, com pouca saúde, ele decidiu retirar-se das corridas. Ele entregou o seu garanhão ao seu filho mais velho William e dividiu o seu stock de sangue entre William e seu filho mais novo Jakie (John Jacob). Os dois irmãos atiraram uma moeda ao ar e depois tomaram opções alternativas de raça pura. O filho mais velho continuou usando suas cores de corrida de azul pálido e rosa e as cores de Jakie foram uma variação sobre isso.
Durante a acumulação militar na Alemanha nos anos 30, os Astors promoveram a entrada na Alemanha, vista por alguns como apaziguamento de Hitler. Muitos dos seus associados sentiam simpatia pelo estado da Alemanha após a Primeira Guerra Mundial, temiam o comunismo e apoiavam a posição do governo britânico. Astor tinha opiniões anti-semitas e nos anos 30 ele disse a Thomas Jones que a Alemanha era criticada porque, “os jornais são influenciados por aquelas empresas que anunciam tão amplamente na imprensa e estão frequentemente sob controle judeu”. No entanto, Nancy foi crítica aos nazistas, principalmente em relação aos direitos das mulheres. O anti-semitismo do Visconde Astor era não-violento e ele protestou a Hitler sobre o tratamento dos judeus.
Em 1940, eles pediram a Neville Chamberlain que se demitisse e apoiaram Churchill como substituto. Ele também apoiou a guerra contra a Alemanha quando ela chegou, embora ambos permanecessem desconfortáveis com Joseph Stalin como aliado (a partir de 1941). Seu filho David Astor, que se tornou dono e editor do The Observer em 1948, nunca perdoou Claud Cockburn e seu jornal The Week for attacks on the “Cliveden Set”.
A família Astor doou Cliveden Estate em Buckinghamshire ao National Trust em 1942.
Viscount Astor morreu em 30 de setembro de 1952 em Cliveden, perto de Taplow, Inglaterra, e foi enterrado no Templo Octógono em Cliveden. Seu filho mais velho Bill sucedeu-o como Visconde.