Med sin politiske karriere overskygget af sin hustru, vendte Waldorf sig mod et større engagement i velgørende formål. Han blev guvernør for Peabody Trust og Guy’s Hospital, mens hans interesse for internationale relationer gav næring til hans engagement i Royal Institute of International Affairs, og han var formand for det fra 1935 til 1949. Han var også en betydelig velgører for byen Plymouth og var borgmester i byen fra 1939 til 1944. Han blev udnævnt til æresoberst af Devonport, Plymouth-baserede Devonshire Heavy Brigade, Royal Artillery of the Territorial Army den 5. april 1929.
Astor blev først involveret i hestevæddeløb, mens han var studerende, da han købte et hoppeføl ved navn Conjure for 100 guineas. Senere købte han to andre hoppeføl/hopper ved navn Maid of the Mist og Popinjay, og disse tre blev grundstutterierne i Astors Cliveden Stud, som han etablerede i nærheden af sit hjem. Han blev en succesfuld ejer-opdrætter og vandt i alt 11 klassiske løb. Disse var: Two Thousand Guineas Stakes: Craig an Eran (1921), Pay Up (1936) og Court Martial (1945); One Thousand Guineas Stakes: Winkipop (1910) og Saucy Sue (1925); Oaks Stakes: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) og Pennycomequick (1929); og St Leger Stakes: Book Law (1927). Han vandt som bekendt aldrig Derbyet, men havde den andenplacerede hest 5 gange. Ud over disse succeser havde han 4 vindere af Eclipse Stakes, 3 vindere af St. James’s Palace Stakes og 2 vindere af Champion Stakes. Den dag i dag har han stadig rekorden for antallet af vindere (7) af Royal Ascots vigtige Coronation Stakes. Han opdrættede alle disse heste, og de stammede alle fra hans tre grundstutterier.
I 1950 besluttede han, da han var ved dårligt helbred, at trække sig tilbage fra væddeløb. Han overdrog sit stutteri til sin ældste søn William og delte sit blodmateriale mellem William og sin yngste søn Jakie (John Jacob). De to brødre kastede en mønt og valgte derefter skiftevis fuldblodshingsten. Den ældste søn fortsatte med at bruge sine racerfarver i lyseblå og lyserødt, og Jakies farver var en variation heraf.
Under den militære oprustning i Tyskland i 1930’erne fremmede familien Astor en aftale med Tyskland, hvilket af nogle blev opfattet som en forsonliggørelse af Hitler. Mange af deres samarbejdspartnere følte sympati for Tysklands tilstand efter Første Verdenskrig, frygtede kommunismen og støttede den britiske regerings holdning. Astor havde antisemitiske synspunkter, og i 1930’erne fortalte han Thomas Jones, at Tyskland blev kritiseret, fordi “aviserne påvirkes af de firmaer, der annoncerer så meget i pressen og ofte er under jødisk kontrol”. Nancy var dog kritisk over for nazisterne, mest med hensyn til kvinders rettigheder. Viscount Astors antisemitisme var ikke voldelig, og han protesterede over for Hitler over behandlingen af jøderne.
I 1940 opfordrede de Neville Chamberlain til at træde tilbage og støttede Churchill som afløser. Han støttede også krigen mod Tyskland, da den kom, selv om begge fortsat var utilpas med Joseph Stalin som allieret (fra 1941). Hans søn David Astor, der blev ejer og redaktør af The Observer i 1948, tilgav aldrig Claud Cockburn og hans nyhedsblad The Week for angreb på “Cliveden Set”.
Familien Astor donerede Cliveden Estate i Buckinghamshire til National Trust i 1942.
Viscount Astor døde den 30. september 1952 på Cliveden nær Taplow, England, og blev begravet i Octagon Temple på Cliveden. Hans ældste søn Bill efterfulgte ham som viscount.