Albrecht kam am 3. Juli 1255 zur Welt. Damals war sein Vater noch nicht König, und das Reich befand sich in der Krisenzeit des Interregnums. Im Gegensatz zum populären Vater, Rudolf von Habsburg, dessen berühmte Grabplatte im Speyerer Dom für eine feste Vorstellung sorgt, wissen wir über das Aussehen Albrechts nur wenig. Überliefert ist jedoch, dass er keine Schönheit gewesen sein soll. Ein bairischer Chronist der Zeit schreibt dazu: „Er war ein gepaurischer man an der personne und het neur ain auge und gar einen unwirdlichen anplich.“
Wir wissen sogar, wie es zum hier angesprochenen Verlust des Auges kam: 1295 fürchtete Albrecht, vergiftet worden zu sein. Den medizinischen Vorstellungen der Zeit zufolge ließ er sich kopfüber aufhängen, damit das Gift abfließen könne. Das hatte allerdings nur zur Folge, dass im Kopf ein Blutstau entstand, der ein Auge erblinden ließ. Das Auge musste später möglicherweise sogar entfernt werden.
