Aluksi Rudolf varttui Wienissä yhä kasvavan sisaruslauman ympäröimänä. Sitten vuonna 1563, yksitoistavuotiaana, hänet lähetettiin asumaan setänsä kuningas Filip II:n luo Espanjan hoviin. Espanja oli tuohon aikaan maailmanvalta, ja Espanjan hovi määritteli elämäntyyliä ja kulttuuria. Perimmäisenä motiivina oli kuitenkin poistaa nuori arkkiherttua isänsä vaikutusvallasta, joka tunnettiin erittäin suvaitsevaisista näkemyksistään uskonnollisissa asioissa. Rudolfin oli määrä saada kasvatus katolisen ortodoksisuuden ilmapiirissä, suojassa protestanttisilta virtauksilta, jotka olivat saaneet yhä enemmän jalansijaa Keski-Euroopassa. Nuoresta arkkiherttualle oli tulossa Pyhän saksalais-roomalaisen keisarikunnan tuleva korkein hallitsija, ja Espanjan, dynastian päälinjan, silmissä oli välttämätöntä, että hänet kasvatettiin ja koulutettiin sen käsityksen mukaisesti, jonka mukaan Habsburgien universaali valta oli katolilaisuuden lipun alla, mikä oli ollut dynastian missio Kaarle V:n valtakaudesta lähtien.
Näiden periaatteiden mukaisesti kasvatettuna Rudolf palasi Keski-Eurooppaan itsevarmana dynastian prinssinä. Hänen espanjalainen kasvatuksensa oli tuonut hänet kosketuksiin perinteisen Välimeren katolilaisuuden kanssa, johon uskonpuhdistuksen ajatukset eivät olleet vaikuttaneet. Uskonnon poliittinen komponentti oli kuitenkin etusijalla hänen ajattelussaan, sillä hän ymmärsi katolilaisuuden ennen kaikkea monarkin vallan tukemisen välineenä. Yksilönä hän ei ollut erityisen tunnettu liiallisesta hurskaudestaan.
Vuonna 1572 valtiopäivät valitsivat hänet isänsä seuraajaksi Unkarin valtaistuimelle, ja vuonna 1575 hänet tunnustettiin Böömin kuninkaaksi. Samana vuonna valitsijamiehet vahvistivat Rudolfin Regensburgissa isänsä seuraajaksi keisarikunnassa. Vain muutamaa kuukautta myöhemmin vuonna 1576 Maximilian II kuoli äkillisesti. Kaksikymmentäneljänvuotias Rudolf oli nyt hallitsija, joka näki roolinsa välittäjänä ääripäiden välillä sekä keisarikunnassa että perintöalueillaan.
Vuonna 1583 keisarillinen hovi siirrettiin Wienistä Prahaan, jota oli nyt tarkoitus laajentaa upeaksi residenssiksi. Nuorta keisaria pidettiin erittäin sivistyneenä, lahjakkaana ja lupaavana, mutta myös täysin keisarillisen arvokkuuden käsitteen läpitunkemana, mikä oli selvin osoitus hänen sosiaalistumisestaan Espanjan hovissa. Hallintonsa ensimmäisinä vuosikymmeninä Rudolf jatkoi taitavasti suvereenien oikeuksiensa järjestelmällistä laajentamista.
Hänen luonteensa pimeät puolet tulivat kuitenkin pian esiin. Keisari oli ajoittain epäjohdonmukainen ja häneltä puuttui päätöstensä vakuuttavuus. Maanisen aktiivisuuden vaiheita seurasivat täydellisen apatian jaksot.