In einer seit der Mitte des 15. Jahrhunderts zusammengestellten Speyrer Handschrift bezeichnet ein anonymer christlicher Schreiber Mainz, Worms und Speyer in verschlüsselter Form mit den Initialen „MUSa“. Er übernahm damit einen Usus der Juden. Diese faßten ihre Gemeinden in SCHpira, Warmaisa und Magenza in dem Kürzel „SCHUM“ zusammen, vor allem, seitdem in der ersten Hälfte des 13. Jahrhunderts in Mainz (vielleicht aber nicht jedesmal dort) mehrere rheinische Rabbinerversammlungen abgehalten worden waren. Deren Beschlüsse lassen die Existenz eines SCHUM-Gemeindeverbands erkennen.
Am Mittelrhein hatte das aschkenasische Judentum früh einen demographischen und intellektuellen Schwerpunkt ausgebildet. In dem bedeutenden Mainz, aber auch in der Salier-Stadt Worms stellten die Juden schließlich über zehn Prozent der Einwohnerschaft, bevor sie im Zuge der Kreuzzugsverfolgungen des Jahres 1096 als „Feinde des Christentums“ fast alle niedergemetzelt wurden. Solch hohe Bevölkerungsanteile erreichten Juden im Mittelalter in keiner anderen deutschen Stadt mehr.
Den Speyrer Juden blieb das Schicksal der Gemeinden von Mainz und Worms durch das energische Eingreifen des Bischofs Johann weitgehend erspart („nur“ ein knappes Dutzend von ihnen soll 1096 von Kreuzfahrern erschlagen worden sein, die übrigen ließ Johann in Orte des Umlands bringen, bis die Gefahr vorüber war). In der Folge erlebte die Gemeinde einen relativen Bedeutungsschub. Die dortige talmudische Akademie des Raschi-Schülers Isaak ben Ascher ha-Levi des Älteren bildete im frühen 12. Jahrhundert die berühmtesten Tossafisten (scholastische Talmud-Kommentatoren) Deutschlands aus. Um die Mitte des 12. Jahrhunderts stand ein Vorsteher der Speyrer Judenschaft, der Geldhändler Kalonymos ben Meir, auf vertrautem Fuß mit Kaiser Friedrich Barbarossa und besorgte dessen Finanzgeschäfte.
Den Nährboden für die Blüte der Speyrer Gemeinde hatte Bischof Johanns Vorgänger, Rüdiger Huzmann, bereitet. Eine hebräische Quelle aus dem 12. Jahrhundert berichtet von einem Brand, der 1084 in der Mainzer Judengasse und umliegenden Häusern gewütet hatte, woraufhin sich eine judenfeindliche Stimmung erhob. Auch wurde ein jüdischer Gelehrter auf dem Weg von Worms nach Mainz von Christen erschlagen, weil er ein Päckchen mit sich führte, in dem sie statt eines Buches Silber oder Gold vermuteten. Eine größere Gruppe von Juden – darunter der hochgeachtete Rabbiner Samuel ben David ha-Levi – verließ daher „die schöne Stadt“ Mainz, die „erste Gemeinde, gelobt und gepriesen vor allen Gemeinden des Reiches“, und fand bereitwilligst Aufnahme durch Bischof Rüdiger.
Er versprach, sie wie ein Vater zu schützen, und siedelte sie in einem Gebiet an, das an die Speyrer Stadtmauer grenzte. Im Stadtzentrum lebten zu dieser Zeit wohl schon seit längerem Juden. Eine erstaunliche Urkunde Rüdigers von 1084 nimmt auf den Vorgang Bezug: Der Bischof habe den Wert bzw. die Bedeutung der „villa Speyer“ tausendfach erhöht, als er den Juden dort außerhalb der Bürgerstadt ein Wohngebiet erwarb und es mit einer Mauer umgeben ließ, um die Neuankömmlinge vor mutwilligen Angriffen zu schützen. Aus Speyrer Kirchengut stiftete Rüdiger zudem ein Friedhofsgelände, das die Juden in Erbpacht besaßen. Er gewährte ihnen eine eigene Gerichtsbarkeit, die sich auch auf Klagen von Juden gegen Christen erstreckte, und befreite ihre Gäste von der Zollpflicht. Kaufen und handeln sowie Geld bzw. Edelmetall wechseln durften die Speyrer Juden ohne Einschränkung. Unkoscheres Fleisch konnten sie den Christen veräußern. Abschließend hob der Bischof hervor, das „Volk der Juden“ genieße in keiner deutschen Stadt ein besseres Recht.
