Weltmodell aus Draht
Wie ein Sprachmodell das nächste Wort wählt: eine kleine, technische Annäherung an Wahrscheinlichkeiten, Temperatur und die Illusion von Gewissheit.
Von Redaktion (Demo) · · 1 Min. Lesezeit

Kernaussage & Position
- Kernaussage
- Was wie Wissen wirkt, ist zunächst eine gewichtete Auswahl aus Wahrscheinlichkeiten.
- Position
- Wer Modellausgaben bewertet, sollte zwischen sprachlicher Sicherheit und sachlicher Richtigkeit unterscheiden.
Im Kern erzeugt ein Sprachmodell für jede mögliche Fortsetzung eine Zahl. Diese Zahlen werden in Wahrscheinlichkeiten umgewandelt, aus denen dann ausgewählt wird.
01Von Rohwerten zu Wahrscheinlichkeiten
Die folgende Funktion zeigt das Prinzip vereinfacht. Ein Parameter namens Temperatur bestimmt, wie stark sich das Modell auf die wahrscheinlichste Option konzentriert.
export function softmax(logits: number[], temperature = 1): number[] { // Scale, then subtract the max for numerical stability const scaled = logits.map((l) => l / temperature); const max = Math.max(...scaled); const exps = scaled.map((s) => Math.exp(s - max)); const sum = exps.reduce((a, b) => a + b, 0); return exps.map((e) => e / sum);} // Low temperature: more decisive. High temperature: more spread out.const probabilities = softmax([2.0, 1.0, 0.1], 0.5);02Eine filmische Studie
Zeitmarke wählen, um zu springen
03Wo die Unsicherheit beginnt
Eine hohe Wahrscheinlichkeit für ein Wort bedeutet nicht, dass die Aussage wahr ist.[1]
