Cu o carieră politică eclipsată de cea a soției sale, Waldorf s-a orientat spre o mai mare implicare în cauze caritabile. A devenit guvernator al Peabody Trust și al Guy’s Hospital, în timp ce interesul său pentru relațiile internaționale i-a alimentat implicarea în Institutul Regal de Afaceri Internaționale, al cărui președinte a fost între 1935 și 1949. A fost, de asemenea, un binefăcător considerabil al orașului Plymouth și a fost primar al acestuia între 1939 și 1944. A fost numit colonel onorific al Brigăzii Grele Devonshire Heavy Brigade, Artileria Regală a Armatei Teritoriale din Devonport, cu sediul în Plymouth, la 5 aprilie 1929.
Astor s-a implicat pentru prima dată în cursele de cai, în timp ce era student, când a cumpărat o mânză numită Conjure pentru 100 de guinee. Ulterior, a cumpărat alte două mânji/mare numite Maid of the Mist și Popinjay, iar acestea trei au devenit iepele de bază ale Astor’s Cliveden Stud, pe care l-a înființat lângă casa sa. A devenit un proprietar- crescător de succes și a câștigat în total 11 curse clasice. Acestea au fost: Two Thousand Guineas Stakes:- Craig an Eran (1921), Pay Up (1936) și Court Martial (1945); One Thousand Guineas Stakes:- Winkipop (1910) și Saucy Sue (1925); Oaks Stakes:- Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) și Pennycomequick (1929); și St Leger Stakes:- Book Law (1927). Este celebru faptul că nu a câștigat niciodată Derby-ul, dar a avut de 5 ori calul clasat pe locul al doilea. În plus față de aceste succese, a avut 4 câștigători ai Eclipse Stakes, 3 câștigători ai St. James’s Palace Stakes și 2 câștigători ai Champion Stakes. Până în ziua de azi deține încă recordul pentru numărul de câștigători (7) ai importantei curse Coronation Stakes de la Royal Ascot. El a crescut toți acești cai și toți au emanat din cele trei iepe de fundație ale sale.
În 1950, având o sănătate precară, a decis să se retragă din curse. Și-a predat armăsarul fiului său cel mare, William, și și-a împărțit stocul de sânge între William și fiul său cel mic, Jakie (John Jacob). Cei doi frați au aruncat o monedă și apoi au ales alternativ stocul de pur-sânge. Fiul cel mare a continuat să folosească culorile sale de curse, albastru deschis și roz, iar culorile lui Jakie au fost o variație a acestora.
În timpul consolidării militare din Germania în anii 1930, familia Astor a promovat înțelegerea cu Germania, considerată de unii ca o împăcare cu Hitler. Mulți dintre asociații lor simțeau simpatie pentru starea Germaniei după Primul Război Mondial, se temeau de comunism și susțineau poziția guvernului britanic. Astor avea opinii antisemite și, în anii 1930, i-a spus lui Thomas Jones că Germania a fost criticată pentru că „ziarele sunt influențate de acele firme care își fac publicitate atât de mult în presă și care se află frecvent sub control evreiesc”. Cu toate acestea, Nancy a fost critică la adresa naziștilor, mai ales în ceea ce privește drepturile femeilor. Antisemitismul vicontelui Astor a fost non-violent și a protestat în fața lui Hitler cu privire la tratamentul evreilor.
În 1940, l-au îndemnat pe Neville Chamberlain să demisioneze și l-au susținut pe Churchill ca înlocuitor. De asemenea, a susținut războiul împotriva Germaniei atunci când acesta a venit, deși amândoi au rămas inconfortabil cu Iosif Stalin ca aliat (din 1941). Fiul său David Astor, care a devenit proprietar și editor al The Observer în 1948, nu l-a iertat niciodată pe Claud Cockburn și foaia sa de știri The Week pentru atacurile asupra „Setului Cliveden”.
Familia Astor a donat Domeniul Cliveden din Buckinghamshire către National Trust în 1942.
Viscount Astor a murit la 30 septembrie 1952 la Cliveden lângă Taplow, Anglia, și a fost înmormântat în Templul Octagonal de la Cliveden. Fiul său cel mare, Bill, i-a succedat în funcția de viconte.
.