Avec sa carrière politique éclipsée par celle de sa femme, Waldorf se tourne vers une plus grande implication dans les causes caritatives. Il devint gouverneur du Peabody Trust et du Guy’s Hospital, tandis que son intérêt pour les relations internationales alimenta son engagement auprès du Royal Institute of International Affairs, dont il fut le président de 1935 à 1949. Il a également été un bienfaiteur considérable pour la ville de Plymouth, dont il a été le maire de 1939 à 1944. Il a été nommé colonel honoraire de la Devonshire Heavy Brigade, de l’artillerie royale de l’armée territoriale, basée à Devonport, Plymouth, le 5 avril 1929.
Astor s’est impliqué pour la première fois dans les courses hippiques, alors qu’il était étudiant de premier cycle, lorsqu’il a acheté une pouliche appelée Conjure pour 100 guinées. Il a ensuite acheté deux autres pouliches/mares appelées Maid of the Mist et Popinjay et ces trois-là sont devenues les juments fondatrices du haras Cliveden d’Astor qu’il a établi près de sa maison. Il est devenu un éleveur-propriétaire prospère et a remporté en tout 11 courses classiques. Ce sont : Two Thousand Guineas Stakes : Craig an Eran (1921), Pay Up (1936) et Court Martial (1945) ; One Thousand Guineas Stakes : Winkipop (1910) et Saucy Sue (1925) ; Oaks Stakes : Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) et Pennycomequick (1929) ; et St Leger Stakes : Book Law (1927). Il n’a jamais gagné le Derby mais a eu 5 fois le cheval classé second. En plus de ces succès, il a eu 4 gagnants des Eclipse Stakes, 3 gagnants des St. James’s Palace Stakes et 2 gagnants des Champion Stakes. À ce jour, il détient toujours le record du nombre de gagnants (7) des Coronation Stakes de Royal Ascot. Il a élevé tous ces chevaux et ils émanaient tous de ses trois juments de fondation.
En 1950, en mauvaise santé, il décide de se retirer des courses. Il remit son haras à son fils aîné William et divisa son stock de sang entre William et son fils cadet Jakie (John Jacob). Les deux frères tirent à pile ou face et choisissent alternativement les pur-sang. Le fils aîné a continué à utiliser ses couleurs de course, le bleu pâle et le rose, et les couleurs de Jakie en étaient une variation.
Pendant le renforcement militaire en Allemagne dans les années 1930, les Astor ont encouragé l’entente avec l’Allemagne, considérée par certains comme un apaisement d’Hitler. Beaucoup de leurs associés ressentaient de la sympathie pour l’état de l’Allemagne après la Première Guerre mondiale, craignaient le communisme et soutenaient la position du gouvernement britannique. Astor avait des opinions antisémites et, dans les années 1930, il déclara à Thomas Jones que l’Allemagne était critiquée parce que « les journaux sont influencés par ces entreprises qui font tant de publicité dans la presse et qui sont fréquemment sous contrôle juif ». Cependant, Nancy a critiqué les nazis, principalement sur les droits des femmes. L’antisémitisme du vicomte Astor était non-violent et il a protesté auprès d’Hitler sur le traitement des Juifs.
En 1940, ils ont exhorté Neville Chamberlain à démissionner et ont soutenu Churchill pour le remplacer. Il a également soutenu la guerre contre l’Allemagne quand elle est arrivée bien que tous deux soient restés mal à l’aise avec Joseph Staline comme allié (à partir de 1941). Son fils David Astor, devenu propriétaire et rédacteur en chef de The Observer en 1948, n’a jamais pardonné à Claud Cockburn et à son journal The Week leurs attaques contre le « Cliveden Set ».
La famille Astor a fait don du domaine de Cliveden dans le Buckinghamshire au National Trust en 1942.
Le vicomte Astor est mort le 30 septembre 1952 à Cliveden près de Taplow, en Angleterre, et a été enterré dans le temple octogonal de Cliveden. Son fils aîné Bill lui a succédé en tant que vicomte.