Mivel politikai karrierjét háttérbe szorította felesége karrierje, Waldorf nagyobb szerepet vállalt jótékonysági ügyekben. A Peabody Trust és a Guy’s Hospital kormányzója lett, míg a nemzetközi kapcsolatok iránti érdeklődése a Royal Institute of International Affairs (Királyi Nemzetközi Ügyek Intézete) munkájában való részvételét táplálta, amelynek 1935 és 1949 között az elnöke volt. Plymouth városának is jelentős jótevője volt, és 1939 és 1944 között a város főpolgármestere volt. 1929. április 5-én kinevezték a plymouthi Devonportban állomásozó Devonshire Heavy Brigade, Royal Artillery, a Területi Hadsereg tiszteletbeli ezredesévé.
Astor még egyetemi hallgató korában kezdett el foglalkozni lóversenyzéssel, amikor 100 guineáért megvásárolt egy Conjure nevű kancát. Később két másik csikót/kancát vásárolt Maid of the Mist és Popinjay néven, és ez a három lett Astor Cliveden Stud alapító kancája, amelyet otthona közelében alapított. Sikeres tulajdonos-tenyésztő lett, és összesen 11 klasszikus versenyt nyert. Ezek a következők voltak: Two Thousand Guineas Stakes: Craig an Eran (1921), Pay Up (1936) és Court Martial (1945); One Thousand Guineas Stakes: Winkipop (1910) és Saucy Sue (1925); Oaks Stakes: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) és Pennycomequick (1929); és St Leger Stakes: Book Law (1927). Híresen soha nem nyerte meg a Derby-t, de 5 alkalommal volt második helyezett lova. E sikereken kívül 4 győztese volt az Eclipse Stakes-nek, 3 győztese a St. James’s Palace Stakes-nek és 2 győztese a Champion Stakes-nek. A mai napig ő tartja a Royal Ascot fontos Coronation Stakes győzteseinek rekordját (7). Mindezeket a lovakat ő tenyésztette, és mind az ő három alapító kancájától származnak.
1950-ben, rossz egészségi állapotában úgy döntött, hogy visszavonul a versenyzéstől. Ménesét átadta legidősebb fiának, Williamnek, és vérállományát felosztotta William és legfiatalabb fia, Jakie (John Jacob) között. A két testvér feldobott egy érmét, majd felváltva választottak a telivér állományból. A legidősebb fiú továbbra is a versenyló színeit, a halványkéket és a rózsaszínt használta, Jakie színei pedig ennek variációi voltak.
A harmincas évek németországi katonai építkezései során az Astorok a Németországgal való szövetséget támogatták, amit egyesek Hitler megnyugtatásának tekintettek. Sok társuk rokonszenvet érzett Németország első világháború utáni állapota iránt, félt a kommunizmustól, és támogatta a brit kormány álláspontját. Astor antiszemita nézeteket vallott, és az 1930-as években Thomas Jonesnak azt mondta, hogy Németországot azért bírálják, mert “az újságokat azok a cégek befolyásolják, amelyek oly nagymértékben hirdetnek a sajtóban, és gyakran zsidó irányítás alatt állnak”. Nancy azonban kritikus volt a nácikkal szemben, főként a nők jogait illetően. Viscount Astor antiszemitizmusa nem volt erőszakos, és tiltakozott Hitlernél a zsidókkal való bánásmód miatt.
1940-ben sürgette Neville Chamberlaint, hogy mondjon le, és Churchillt támogatta helyette. Ő is támogatta a Németország elleni háborút, amikor az bekövetkezett, bár mindketten kényelmetlenül érezték magukat Joszif Sztálin szövetségeseként (1941-től). Fia, David Astor, aki 1948-ban a The Observer tulajdonosa és szerkesztője lett, soha nem bocsátotta meg Claud Cockburnnek és The Week című újságjának a “Cliveden Set” elleni támadásokat.
Az Astor család 1942-ben a National Trustnak adományozta a Buckinghamshire-i Cliveden Estate-et.
Viscount Astor 1952. szeptember 30-án halt meg a Taplow melletti Clivedenben, Angliában, és a Clivedenben lévő Octagon Temple-ben temették el. Legidősebb fia, Bill követte őt vikomtként.