Vaimonsa poliittisen uran jäädessä vaimonsa uran varjoon Waldorf siirtyi osallistumaan enemmän hyväntekeväisyyteen. Hänestä tuli Peabody Trustin ja Guy’s Hospitalin kuvernööri, ja hänen kiinnostuksensa kansainvälisiin suhteisiin ruokki hänen osallistumistaan Royal Institute of International Affairs -järjestöön, jonka puheenjohtajana hän toimi vuosina 1935-1949. Hän oli myös huomattava hyväntekijä Plymouthin kaupungille ja toimi sen pormestarina vuosina 1939-1944. Hänet nimitettiin Devonportissa, Plymouthissa sijaitsevan Devonshire Heavy Brigade, Royal Artillery of the Territorial Army -joukkojen kunniaeverstiksi 5. huhtikuuta 1929.
Astor harrasti hevosurheilua ensimmäisen kerran opiskeluaikanaan, kun hän osti Conjure-nimisen tamman 100 guinealla. Myöhemmin hän osti kaksi muuta tammaa/tammaa nimeltä Maid of the Mist ja Popinjay, ja näistä kolmesta tuli Astorin Cliveden Studin perustammoja, jonka hän perusti lähelle kotiaan. Hänestä tuli menestyvä omistajakasvattaja, ja hän voitti kaikkiaan 11 Classic-kilpailua. Nämä olivat: Two Thousand Guineas Stakes: Craig an Eran (1921), Pay Up (1936) ja Court Martial (1945); One Thousand Guineas Stakes: Winkipop (1910) ja Saucy Sue (1925); Oaks Stakes: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) ja Pennycomequick (1929); ja St Leger Stakes: Book Law (1927). Tunnetusti hän ei koskaan voittanut Derbyä, mutta hänellä oli toiseksi sijoittunut hevonen 5 kertaa. Näiden menestysten lisäksi hänellä oli 4 voittajaa Eclipse Stakesissa, 3 voittajaa St. James’s Palace Stakesissa ja 2 voittajaa Champion Stakesissa. Vielä tänäkin päivänä hän pitää hallussaan Royal Ascotin tärkeän Coronation Stakesin voittajien määrän ennätystä (7). Hän kasvatti kaikki nämä hevoset, ja ne kaikki ovat peräisin hänen kolmesta perustammastaan.
Vuonna 1950 hän päätti huonon terveytensä vuoksi vetäytyä kilpaurheilusta. Hän luovutti kantansa vanhimmalle pojalleen Williamille ja jakoi verikantansa Williamin ja nuorimman poikansa Jakien (John Jacob) kesken. Veljekset heittivät kolikkoa ja valitsivat sitten vuorotellen täysverikannan. Vanhin poika jatkoi kilpahevostensa värien, vaaleansinisen ja vaaleanpunaisen, käyttöä, ja Jakien värit olivat muunnelma tästä.
Kun Saksaan rakennettiin sotilaallisia rakenteita 1930-luvulla, Astorit edistivät liittoutumista Saksan kanssa, jota jotkut pitivät Hitlerin rauhoittamisena. Monet heidän yhteistyökumppaninsa tunsivat sympatiaa Saksan tilaa kohtaan ensimmäisen maailmansodan jälkeen, pelkäsivät kommunismia ja tukivat Britannian hallituksen kantaa. Astorilla oli antisemitistisiä näkemyksiä, ja 1930-luvulla hän kertoi Thomas Jonesille, että Saksaa arvosteltiin, koska ”sanomalehtiin vaikuttavat ne yritykset, jotka mainostavat niin paljon lehdistössä ja jotka ovat usein juutalaisten valvonnassa”. Nancy suhtautui kuitenkin natseihin kriittisesti, lähinnä naisten oikeuksiin. Varakreivi Astorin antisemitismi oli väkivallatonta, ja hän protestoi Hitlerille juutalaisten kohtelusta.
Vuonna 1940 he kehottivat Neville Chamberlainia eroamaan ja kannattivat Churchillia hänen tilalleen. Hän kannatti myös sotaa Saksaa vastaan, kun se syttyi, vaikka molemmat eivät pitäneet Josif Stalinia liittolaisena (vuodesta 1941 alkaen). Hänen poikansa David Astor, josta tuli The Observerin omistaja ja päätoimittaja vuonna 1948, ei koskaan antanut anteeksi Claud Cockburnille ja tämän uutislehdelle The Weekille hyökkäyksiä ”Cliveden-settiä” vastaan.
Astorin perhe lahjoitti Clivedenin kartanon Buckinghamshiressä National Trustille vuonna 1942.
Viskonttori Astor kuoli 30. syyskuuta 1952 Clivedenissä lähellä Taplow’ta, Englannissa, ja haudattiin Clivedenin Octagon-temppeliin. Hänen vanhin poikansa Bill seurasi häntä viskonttina.