Im Herbst 1833 rief er die Hamburger Bürger auf, ihn bei der Gründung einer Anstalt zur Rettung verwahrloster und schwererziehbarer Kinder finanziell zu unterstützen – mit Erfolg. Bereits am 31. Oktober 1833 zog Wichern mitsamt seiner Familie in das „Rauhe Haus“ im Dorf Horn nahe Hamburg. 165 Jungen und Mädchen nahm die Anstalt im ersten Jahrzehnt auf. Neben einer sicheren Zuflucht wurden den Kindern eine christliche Erziehung und Schulbildung zuteil. Trotz eines streng reglementierten Arbeitstages überließ Wichern den Kindern genügend Freiräume und verzichtete bewusst auf eine Kasernierung, wie sie in Armenhäusern noch weithin üblich war. Er schuf vielmehr eine familienähnliche Struktur. Dabei unterstützten ihn ausgebildete Gehilfen, die „Brüder“, die jeweils eine Kindergruppe leiteten und mit ihnen eine Wohngemeinschaft bildeten.
