政治家としてのキャリアは妻に取って代わられ、ウォルドーフは慈善事業により深く関わるようになった。 ピーボディ信託とガイズ病院の総裁になり、国際関係への関心から王立国際問題研究所に関与し、1935年から1949年までその会長を務めた。 また、プリマス市にも多大な貢献をし、1939年から1944年まで市長として活躍した。 1929年4月5日には、プリマスのデボンポートに本拠を置く英軍のデボンシャー・ヘビー・ブリゲードの名誉大佐に任命された
アスターが初めて競馬に関わったのは、学部生時代、コンジュアという牝馬を100ギニーで買った時である。 その後、メイド・オブ・ザ・ミストとポピンジェイという牝馬を購入し、この3頭はアスターが自宅近くに設立したクリヴェデン・スタッドの基礎牝馬となった。 彼はオーナーブリーダーとして成功を収め、クラシックレースで11勝を挙げた。 これらは、2000ギニーステークスのクレイグ・アン・エラン（1921）、ペイアップ（1936）、コート・マーシャル（1945）、1000ギニーステークスのウィンキポップ（1910）とソーシー・スー（1925）、オークスステークスのサニージェーン（1917）、ポグロム（1922）、ソーシー・スー（1925）、ショートストーリー（1926）とペニーカムクイック（1929）、セントレジャーステークスのブックロー（1927）であった。 ダービーを勝ったことはないが、2着馬を5回出したのは有名な話である。 このほか、エクリプスステークスに4勝、セントジェームズパレスステークスに3勝、チャンピオンステークスに2勝している。 現在でも、ロイヤルアスコットの重要なレースであるコロネーションステークスの優勝馬の数（7頭）の記録を保持している。 1950年、健康を害した彼はレースからの引退を決意。 血統は長男のウィリアムに譲り、ウィリアムと末っ子のジャッキー（ジョン・ジェイコブ）に血統を分けた。 二人の兄弟はコインを投げて、サラブレッドの株を交互に選択した。
1930年代、ドイツの軍拡が進む中、アスター家はドイツとの同盟を推進したが、これはヒトラーへの宥和政策とみなされることもあった。 彼らの仲間には、第一次世界大戦後のドイツの状態に共感を覚え、共産主義を恐れ、イギリス政府の立場を支持する者が多かった。 アスターは反ユダヤ主義的な考えを持っており、1930年代にはトーマス・ジョーンズに、ドイツが批判されるのは「新聞は、新聞に大きな広告を出している企業の影響を受け、ユダヤ人の支配下に置かれていることが多いからだ」と語っている。 しかし、ナンシーはナチスに批判的で、その多くは女性の権利についてであった。 アスター子爵の反ユダヤ主義は非暴力的で、ユダヤ人の扱いについてヒトラーに抗議した。
1940年にはネヴィル・チェンバレンの辞任を促し、後任にチャーチルを支持。 また、1941年以降、ヨシフ・スターリンを同盟国とすることに違和感を抱きつつも、対独戦争を支持した。
アスター家は1942年、バッキンガムシャーのクリヴェデン・エステートをナショナル・トラストに寄贈した。 長男のビルが子爵を継いだ
。