Die anfängliche Zustimmung, die die Fürsten der Kaiserin entgegenbrachten, wich jedoch bald einer wachsenden Skepsis, ob Agnes als Frau den Regierungsgeschäften überhaupt gewachsen sei. „Die Mutter aber, wie das bei einer Frau erklärlich ist, gab leicht nach, indem diese und jene Leute ihr Ratschläge erteilten. Die übrigen, die am Königshof sich im Vorsitz befanden, neigten begierig zur Habsucht, und niemand konnte dort ohne Geldzahlungen für seine Angelegenheit Gerechtigkeit finden“, klagte ein Chronist des Klosters Niederalteich. Bald sagte man Agnes wechselnde Verhältnisse mit geistlichen Würdenträgern nach und stilisierte sie immer mehr zur „rasenden Furie“.
Als der Königshof schließlich in Opposition zum Reformpapsttum geriet, entführten die Fürsten 1062 in einer spektakulären Aktion den mittlerweile zwölfjährigen König Hein-rich IV. Ein Regentschaftsrat unter wechselndem Vorsitz sollte nun das Reichsregiment und die Erziehung des jungen Saliers übernehmen. Agnes zog sich immer mehr zurück und suchte die Nähe der großen Kirchenreformer. 1077 starb sie in Rom.
