I begyndelsen voksede Rudolf op i Wien omgivet af en stadig voksende horde af søskende. I 1563, som elleveårig, blev han så sendt til at bo hos sin onkel, kong Phillip II, ved det spanske hof. På det tidspunkt var Spanien en verdensmagt, og det spanske hof var toneangivende med hensyn til livsstil og kultur. Bagtanken var imidlertid at fjerne den unge ærkehertug fra sin fars indflydelse, som var kendt for sine ekstremt tolerante holdninger i religiøse spørgsmål. Rudolf skulle opdrages i et katolsk ortodoks miljø, beskyttet mod de protestantiske strømninger, der havde fået mere og mere fodfæste i Centraleuropa. Den unge ærkehertug skulle blive det Hellige Romerske Riges fremtidige øverste hersker, og i Spaniens øjne, dynastiets hovedlinje, var det bydende nødvendigt, at han blev opdraget og uddannet i overensstemmelse med den opfattelse af universel habsburgsk magt under katolicismens fane, som havde været dynastiets mission siden Karl V.
Efter at være blevet opdraget efter disse retningslinjer vendte Rudolf tilbage til Centraleuropa som en selvsikker prins af dynastiet. Hans spanske opvækst havde bragt ham i kontakt med den traditionelle middelhavskatolicisme, der var upåvirket af reformationens ideer. Det var imidlertid religionens politiske komponent, der stod i forgrunden i hans tænkning, da han først og fremmest forstod katolicismen som et instrument til at underbygge en monarks magt. Som person var han ikke specielt kendt for sin overdrevne fromhed.
I 1572 blev han valgt af stænderne som sin fars efterfølger på den ungarske trone og i 1575 anerkendt som konge af Bøhmen. Samme år blev Rudolf bekræftet af kurfyrsterne i Regensburg som efterfølger til sin far i riget. Kun få måneder senere i 1576 døde Maximilian II pludselig i 1576. Rudolf var 24 år gammel og var nu en hersker, der så sin rolle som mægler mellem yderpunkterne, både i riget og i sine patrimoniale domæner.
I 1583 blev det kejserlige hof flyttet fra Wien til Prag, som nu skulle udbygges til en prægtig residens. Den unge kejser blev anset for at være højt kultiveret, talentfuld og lovende, men også helt gennemsyret af begrebet kejserlig værdighed, hvilket var det tydeligste udtryk for hans socialisering ved det spanske hof. I de første årtier af sin regeringstid forfulgte Rudolf dygtigt den systematiske udvidelse af sine suveræne rettigheder.
Men de mørke sider af hans karakter manifesterede sig snart. Kejseren var til tider inkonsekvent og manglede overbevisning i sine beslutninger. Faser af manisk aktivitet blev efterfulgt af perioder med total apati.