文字を、AIが使う小さなかたまりへ
よく並ぶ断片をまとめるBPEの規則を、小さな辞書で1回ずつ試します。
やってみよう「規則を1つ適用」を押して、まとまる断片を見よう。
どこを見る？ 日本語では、1文字の途中のバイトが分かれることもあります。
なぜ、そうなる？
文字はまずUTF-8という方法で数値の列に変換できます。BPEでは、学習用の文章でよく隣り合う断片を見つけ、まとめる規則を作ります。
ここでは固定の短い文章から実際に規則を学習しました。入力文に規則を順番に当てはめると、トークンの並びと数が変わります。元のバイト列へ戻せることも確認します。
ひとことで
トークンの切れ目は、辞書とまとめる規則で決まる。結果だけでなく、操作の前後で何が変わったかを説明してみましょう。
ことばを確認する
- トークン
- モデルが文章を扱うために使う断片。
- バイト
- 8ビット分のデータ。日本語1文字が複数バイトになることも。
- BPE
- よく隣り合う断片の組を、繰り返しまとめる方法。
計算のしくみと、この模型の限界
固定コーパスから作る16規則の教材用バイトBPEです。商用モデルのトークン数・料金・上限は計算しません。空白などの事前分割は省略しています。文字として読めない途中バイトは16進数で表示。IDは実際の辞書番号で、推定値やハッシュ値ではありません。
初期語彙は0〜255の全バイト。隣接ペア頻度が最大の組を選び、重ならない出現をまとめてID 256以降を付けます。同頻度はペアIDの小さい順。新しい文章には学習順に規則を適用します。