D’abord Rudolf grandit à Vienne entouré d’une horde toujours plus nombreuse de frères et sœurs. Puis en 1563, à l’âge de onze ans, il est envoyé vivre chez son oncle le roi Philippe II à la cour d’Espagne. À cette époque, l’Espagne est une puissance mondiale et la cour espagnole donne le ton en matière de style de vie et de culture. L’arrière-pensée est toutefois de soustraire le jeune archiduc à l’influence de son père, connu pour ses opinions extrêmement tolérantes en matière de religion. Rudolf doit être éduqué dans un environnement d’orthodoxie catholique, à l’abri des courants protestants qui s’imposent de plus en plus en Europe centrale. Le jeune archiduc devait être le futur souverain suprême du Saint-Empire romain germanique et, aux yeux de l’Espagne, principale ligne de la dynastie, il était impératif qu’il soit élevé et éduqué conformément au concept de pouvoir universel des Habsbourg sous la bannière du catholicisme qui était la mission de la dynastie depuis le règne de Charles Quint.
Après avoir été éduqué selon ces principes, Rudolf retourna en Europe centrale en tant que prince de la dynastie sûr de lui. Son éducation espagnole l’avait mis en contact avec le catholicisme méditerranéen traditionnel qui n’était pas affecté par les idées de la Réforme. C’est toutefois la composante politique de la religion qui était au premier plan de sa réflexion, car il considérait le catholicisme avant tout comme un instrument destiné à renforcer le pouvoir d’un monarque. En tant qu’individu, il n’était pas spécialement remarqué pour sa piété excessive.
En 1572, il est élu par les États comme successeur de son père sur le trône de Hongrie, et en 1575 reconnu comme roi de Bohême. La même année, Rudolf est confirmé par les électeurs de Ratisbonne comme successeur de son père dans l’Empire. Quelques mois plus tard seulement, en 1576, Maximilien II meurt subitement. Âgé de vingt-quatre ans, Rodolphe est désormais un souverain qui conçoit son rôle comme celui d’un médiateur entre les extrêmes, tant dans l’Empire que dans ses dominions patrimoniaux.
En 1583, la cour impériale est déplacée de Vienne à Prague, qui doit désormais être agrandie pour devenir une magnifique résidence. Le jeune empereur était considéré comme très cultivé, talentueux et prometteur, mais aussi totalement imprégné du concept de dignité impériale, manifestation la plus claire de sa socialisation à la cour d’Espagne. Au cours des premières décennies de son règne, Rodolphe poursuit habilement l’extension systématique de ses droits souverains.
Cependant, les côtés sombres de son caractère se manifestent rapidement. L’empereur était parfois incohérent et manquait de la conviction de ses décisions. Des phases d’activité maniaque étaient suivies de périodes d’apathie totale.