LLMは言葉の確率分布機だけど、正規分布ではない
トークンの積み重ねは特定の方向に重み付けを行い、それらの累積により重みが一定量を超えると大きな遷移が引き起こされ、
特定の文脈の活性化という強い方向づけが行われる
この遷移は複数の領域で同時的、多相的にも引き起こされるもので、トークンの積み重ねにより文脈を特定方向に加速度的に収束していくものだ
Permalink | 記事への反応(0) | 01:43
ツイートシェア
18
