So mußte es zum Konflikt mit Adenauer kommen, der eine Politik der Wiederbewaffnung betrieb. Heinemann dagegen sprach sich gegen deutsche Soldaten aus: Deutschland sei ausreichend durch die Alliierten geschützt, außerdem könne sich die Sowjetunion durch eine deutsche Wiederbewaffnung zu einem Präventivkrieg genötigt fühlen. Der Dissens eskalierte, als Adenauer im Sommer 1950 ohne Rücksprache mit seinen Ministern den Westalliierten die deutsche Beteilung an einer westeuropäischen Armee anbot. Heinemann, der seine politischen Ziele zentral gefährdet sah, attackierte den Kanzler öffentlich. Das Rücktrittsangebot des Innenministers war die logische Konsequenz. Adenauer bat denn auch am 10. Oktober den Bundespräsidenten um Heinemanns Entlassung. Heinemann verließ das Kabinett, kurze Zeit später auch die CDU. Seine Zeit sollte noch kommen: als SPD-Bundespräsident in den Jahren 1969 bis 1974.
