00 · まず3分で
答えは、3つの要点でわかる
- 1質問に関連する文書断片を検索し、モデルの文脈へ入れます。
- 2回答を根拠へ結びつけ、読者が出典を確認できるようにできます。
- 3検索漏れ、矛盾資料、誤読、根拠のない統合は残ります。
01 · モデルに開いた本を渡す
モデルに開いた本を渡す
質問を検索表現へ変換し、索引から関連断片を取り出して回答モデルへ渡します。学習時の記憶だけに依存しない点が重要です。
02 · 検索は別のモデル
検索は別のモデル
分割方法、埋め込み、絞り込み、順位付けが、どの証拠をモデルに見せるか決めます。決定的資料が抜ければ、回答側だけで確実に救えません。
モデルに開いた本を渡す
質問を検索表現へ変換し、索引から関連断片を取り出して回答モデルへ渡します。学習時の記憶だけに依存しない点が重要です。
質問検索は別のモデル
分割方法、埋め込み、絞り込み、順位付けが、どの証拠をモデルに見せるか決めます。決定的資料が抜ければ、回答側だけで確実に救えません。
検索資料を読んでも誤る
モデルは文書を無視したり、両立しない主張を混ぜたり、支えていない文へ引用を付けたりできます。資料自体が古い、汚染されている場合もあります。
再順位付け二層で評価する
関連資料を拾えたかという検索品質と、その資料に従ったかという回答品質を分けて測ります。一つの総合点だけでは故障箇所が見えません。
根拠付き回答03 · 資料を読んでも誤る
資料を読んでも誤る
モデルは文書を無視したり、両立しない主張を混ぜたり、支えていない文へ引用を付けたりできます。資料自体が古い、汚染されている場合もあります。
04 · 二層で評価する
二層で評価する
関連資料を拾えたかという検索品質と、その資料に従ったかという回答品質を分けて測ります。一つの総合点だけでは故障箇所が見えません。
05 · RAGは保証書ではない
RAGは保証書ではない
良い設計は引用、日付、アクセス権、矛盾時の拒否を扱います。誤った統合が重大な用途では、最終確認が必要です。
06 · 出典と証拠
出典と証拠
主張を、基礎論文・標準文書、または更新記事の一次研究までたどれます。
- 01Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks一次研究 ↗
この記事の仕組み・測定事実・確度の境界を支える資料です。
- 02Retrieval-Augmented Generation for Large Language Models: A Survey学術レビュー ↗
この記事の仕組み・測定事実・確度の境界を支える資料です。
