Nachdem seine politische Karriere durch die seiner Frau in den Hintergrund gedrängt wurde, engagierte sich Waldorf Astor verstärkt für wohltätige Zwecke. Er wurde Gouverneur des Peabody Trust und des Guy’s Hospital, während sein Interesse an internationalen Beziehungen sein Engagement für das Royal Institute of International Affairs förderte, dessen Vorsitzender er von 1935 bis 1949 war. Er war auch ein bedeutender Wohltäter der Stadt Plymouth und diente ihr von 1939 bis 1944 als Oberbürgermeister. Am 5. April 1929 wurde er zum Ehrenoberst der in Devonport, Plymouth, stationierten Devonshire Heavy Brigade der Royal Artillery of the Territorial Army ernannt.
Astor begann bereits während seines Studiums mit dem Pferderennsport, als er ein Stutfohlen namens Conjure für 100 Guineas kaufte. Später kaufte er zwei weitere Stutfohlen mit den Namen Maid of the Mist und Popinjay. Diese drei Stuten bildeten den Grundstock für Astors Cliveden-Gestüt, das er in der Nähe seines Wohnorts gründete. Er wurde ein erfolgreicher Besitzer und Züchter und gewann insgesamt 11 klassische Rennen. Diese waren: Two Thousand Guineas Stakes: Craig an Eran (1921), Pay Up (1936) und Court Martial (1945); One Thousand Guineas Stakes: Winkipop (1910) und Saucy Sue (1925); Oaks Stakes: Sunny Jane (1917), Pogrom (1922), Saucy Sue (1925), Short Story (1926) und Pennycomequick (1929); und St Leger Stakes: Book Law (1927). Das Derby hat er bekanntlich nie gewonnen, aber er hatte 5 Mal das zweitplatzierte Pferd. Zusätzlich zu diesen Erfolgen hatte er 4 Gewinner der Eclipse Stakes, 3 Gewinner der St. James’s Palace Stakes und 2 Gewinner der Champion Stakes. Bis heute hält er den Rekord für die Anzahl der Sieger (7) der wichtigen Coronation Stakes in Royal Ascot. Alle diese Pferde wurden von ihm gezüchtet und stammten von seinen drei Gründerstuten ab.
1950 beschloss er aus gesundheitlichen Gründen, sich aus dem Rennsport zurückzuziehen. Er übergab sein Gestüt an seinen ältesten Sohn William und teilte seinen Blutbestand zwischen William und seinem jüngsten Sohn Jakie (John Jacob) auf. Die beiden Brüder warfen eine Münze und wählten dann abwechselnd die Vollblüter aus. Der älteste Sohn verwendete weiterhin seine Rennfarben Hellblau und Rosa, und die Farben von Jakie waren eine Abwandlung davon.
Während der militärischen Aufrüstung in Deutschland in den 1930er Jahren förderten die Astors die Entente mit Deutschland, was von einigen als Beschwichtigung Hitlers angesehen wurde. Viele ihrer Mitarbeiter empfanden Sympathie für den Zustand Deutschlands nach dem Ersten Weltkrieg, fürchteten den Kommunismus und unterstützten die Position der britischen Regierung. Astor hatte antisemitische Ansichten und sagte in den 1930er Jahren zu Thomas Jones, dass Deutschland kritisiert werde, weil „die Zeitungen von den Firmen beeinflusst werden, die so viel in der Presse werben und häufig unter jüdischer Kontrolle stehen.“ Nancy äußerte sich jedoch kritisch gegenüber den Nazis, vor allem in Bezug auf die Rechte der Frauen. Viscount Astors Antisemitismus war nicht gewalttätig, und er protestierte bei Hitler gegen die Behandlung der Juden.
1940 forderten sie Neville Chamberlain zum Rücktritt auf und unterstützten Churchill als Ersatz. Auch er unterstützte den Krieg gegen Deutschland, als er kam, obwohl beide sich mit Joseph Stalin als Verbündetem (ab 1941) unwohl fühlten. Sein Sohn David Astor, der 1948 Eigentümer und Herausgeber des Observer wurde, hat Claud Cockburn und seiner Zeitung The Week die Angriffe auf das „Cliveden Set“ nie verziehen.
Die Familie Astor schenkte das Cliveden Estate in Buckinghamshire 1942 dem National Trust.
Viscount Astor starb am 30. September 1952 in Cliveden bei Taplow, England, und wurde im Octagon Temple in Cliveden beigesetzt. Sein ältester Sohn Bill folgte ihm als Viscount nach.