Med tanke på att hans politiska karriär överskuggades av sin hustrus, vände sig Waldorf till ett större engagemang i välgörenhetsfrågor. Han blev guvernör för Peabody Trust och Guy’s Hospital, medan hans intresse för internationella relationer gav näring åt hans engagemang i Royal Institute of International Affairs, och han var dess ordförande från 1935 till 1949. Han var också en betydande välgörare för staden Plymouth och var dess borgmästare 1939-1944. Han utnämndes till hedersöverste för Devonport, Plymouth-baserade Devonshire Heavy Brigade, Royal Artillery of the Territorial Army den 5 april 1929.
Astor började engagera sig för första gången i hästkapplöpning, medan han var student, när han köpte ett sto vid namn Conjure för 100 guineas. Han köpte senare två andra föl/stoar som hette Maid of the Mist och Popinjay och dessa tre blev grundstona i Astors Cliveden-stuteri som han etablerade i närheten av sitt hem. Han blev en framgångsrik ägare och uppfödare och vann sammanlagt 11 klassiska lopp. Dessa var: Two Thousand Guineas Stakes: Craig an Eran (1921), Pay Up (1936) och Court Martial (1945), One Thousand Guineas Stakes: Winkipop (1910) och Saucy Sue (1925), Oaks Stakes: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) och Pennycomequick (1929) och St Leger Stakes: Book Law (1927). Han vann aldrig Derbyt, men hade den andraplacerade hästen fem gånger. Utöver dessa framgångar hade han fyra vinnare av Eclipse Stakes, tre vinnare av St James’s Palace Stakes och två vinnare av Champion Stakes. Än idag innehar han rekordet för antalet vinnare (7) i Royal Ascots viktiga Coronation Stakes. Han uppfödde alla dessa hästar och de härstammade alla från hans tre grundston.
1950 bestämde han sig för att dra sig tillbaka från tävlingarna på grund av sin dåliga hälsa. Han överlämnade sitt stuteri till sin äldsta son William och delade upp sitt blodmaterial mellan William och sin yngste son Jakie (John Jacob). De två bröderna kastade ett mynt och valde sedan växelvis ut fullblodsbeståndet. Den äldste sonen fortsatte att använda sina tävlingsfärger i ljusblått och rosa och Jakies färger var en variation på detta.
Under den militära uppbyggnaden i Tyskland på 1930-talet förespråkade familjen Astor en allians med Tyskland, vilket av vissa uppfattades som en försonande hållning till Hitler. Många av deras medarbetare kände sympati för Tysklands tillstånd efter första världskriget, fruktade kommunismen och stödde den brittiska regeringens ståndpunkt. Astor hade antisemitiska åsikter och på 1930-talet sade han till Thomas Jones att Tyskland kritiserades för att ”tidningarna påverkas av de företag som annonserar så mycket i pressen och som ofta är under judisk kontroll”. Nancy var dock kritisk mot nazisterna, främst när det gällde kvinnors rättigheter. Viscount Astors antisemitism var icke-våldsam och han protesterade till Hitler mot behandlingen av judarna.
I 1940 uppmanade de Neville Chamberlain att avgå och stödde Churchill som ersättare. Han stödde också kriget mot Tyskland när det kom, även om båda förblev obekväma med Joseph Stalin som allierad (från 1941). Hans son David Astor, som blev ägare och redaktör för The Observer 1948, förlät aldrig Claud Cockburn och hans nyhetstidning The Week för angreppen på ”Cliveden Set”.
Familjen Astor donerade Cliveden Estate i Buckinghamshire till National Trust 1942.
Viscount Astor avled den 30 september 1952 på Cliveden nära Taplow, England, och begravdes i Octagon Temple på Cliveden. Hans äldsta son Bill efterträdde honom som viscount.