AIモデルは学習データを忘れられる？機械的忘却を解説

AI技術が社会のあらゆる場面に浸透するにつれ、学習データに含まれる個人情報や著作物の削除を求める声が高まっています。しかし、通常のWebサービスのようにデータベースから該当レコードを削除しても、学習済みのAIモデルがそのデータを「忘れた」ことにはなりません。現代の深層学習モデルでは、データそのものがファイルとして保管されているのではなく、数億から数千億個に及ぶパラメータ（重み）を調整するための材料として消費され、全体に分散して記憶されているためです。そのため、元ファイルをストレージから消去しても、重みに生じた影響は自動的には取り除かれません。この課題を解決するために世界中で研究されているのが、学習済みモデルから特定データの影響を取り除く技術「機械的忘却（マシン・アンラーニング：Machine Unlearning）」です。本記事では、AIがデータを忘れることの困難さ、再学習を賢く効率化する手法、重みを直接修正する試み、そして出力抑制と忘却の決定的な違いについて、重要条件とともに解説します。

---

なぜAIは「元ファイルを消す」だけではデータを忘れられないのか

通常のデータベース削除とAIモデルの違い

私たちが普段利用する一般的なITシステムやデータベースでは、データの削除はおもに「論理削除」と「物理消去」に分かれます。論理削除はデータ自体を残したまま削除フラグを立てて非表示にする方法であり、物理消去はストレージ上の記憶領域を上書き・解放して実体を完全に消し去る処理です。通常のシステムであれば、物理消去を行うことでデータは確実に消失し、以降のシステムがそのデータを読み出すことは不可能になります。

しかし、深層ニューラルネットワークをはじめとするパラメータ最適化モデル全般では、データの扱われ方が根本的に異なります。学習データは、モデルの内部パラメータ（重み）を最適化するための材料として消費されます。学習が完了した時点で、データそのものが画像やテキストのファイル形式でモデル内に保存されているわけではありません。そのため、ストレージから学習データの元ファイルを物理的に消去したとしても、学習済みの重みパラメータに生じた影響は自動的には取り除かれません。これが、機械的忘却を考える上での最も基本的な前提です。

情報が保管される「3つの保存層」

この違いを明確に理解するために、AIシステムにおけるデータの保管場所を次の3つの層に分けて整理します。

1. ストレージ層（保存ファイル）：モデルの訓練に用いたテキストや画像などの生データが保管されている場所。
2. 検索索引・外部DB層（検索キャッシュや外部知識）：RAG（検索拡張生成）などで参照される外部データベースや、高速検索用のベクトルインデックス。
3. 重み・モデル層（パラメトリック・メモリ）：ニューラルネットワークを構成する無数の重みパラメータそのもの。

ストレージ層のファイルを削除したり、外部DB層の検索インデックスから特定文書を除外したりしても、それは第1層や第2層に対する操作に過ぎません。第3層である重みパラメータそのものにすでに刻み込まれた数値の変化は、外部ファイルを消しても何一つ変わらず残り続けます。

上記の図は、ストレージ層、検索索引層、モデル層という3つの保存領域に対して行われる操作を並列に対比したものです。「外部ファイルの削除」や「検索除外」はストレージや索引にのみ作用し、モデル内部のパラメータには影響を与えません。一方、「モデルへの対応」には、既存の重みの直接更新だけでなく、対象データを除外して再学習したモデルへの置換や、後述するSISAのように分割学習されたサブモデルの局所再学習が含まれます。ただし、どの手法を採用した場合でも、「完全消去」が無条件に保証されるわけではない点に留意して図を読み解く必要があります。

分散表現とSGDによる「連鎖的更新」

なぜ重みパラメータから特定データの影響だけを抜き取ることが難しいのでしょうか。その理由は、データの表現形式と学習アルゴリズムの性質にあります。

よく使われる例えに「スープに溶け込んだスパイス」があります。これは、情報が個別のパラメータに単独で収まっているのではなく、無数のパラメータの組み合わせによる「分散表現」として全体に染み渡っている状態を表しています。「特定のパラメータにAさんの住所が単独で書き込まれている」わけではないため、一部の数値だけを消去することはできません。

さらに決定的な要因が、モデルの学習アルゴリズムである確率的勾配降下法（SGD: Stochastic Gradient Descent）の連鎖的な性質です。モデルはデータを小さな束（ミニバッチ）ごとに読み込み、直前の重みの状態を基準にして次の重みを少しずつ更新していきます。ある1件のデータが重みに与えた影響は、その後に読み込まれた何万・何億件もの他のデータの計算へと連鎖的に引き継がれます。過去の特定の計算結果だけを後から単純に「引き算」して元に戻すことは、数学的に極めて困難なのです。

---

機械的忘却の理想とゴールドスタンダード――「最初から学ばなかった状態」とは何か

忘却の基準（ゴールドスタンダード）の定義

それでは、機械学習において「データを忘れた」とは何を意味するのでしょうか。

機械的忘却の研究において、完璧な忘却の絶対的な基準（ゴールドスタンダード）とされているのは、「削除対象のデータレコードを最初から学習に使わず、まったく同じ手順・乱数・アルゴリズムでゼロから再学習（Retraining from scratch）したモデル」です。

何らかの忘却処理を施したモデルの振る舞いや内部パラメータの分布が、この「対象データを除外してゼロから再学習したモデル」と統計的に区別がつかない状態になれば、そのデータの影響は完全に除去されたとみなせます。

「その事実を絶対に知らない状態」とは同義ではない

ただし、ゴールドスタンダードには極めて重要な条件があります。それは、ゴールドスタンダードが意味するのは「指定されたデータレコードを学習セットに入れなかった状態に戻すこと」であり、「そのモデルが、対象となった事実をこの世で絶対に知らない状態になること」とは同義ではないという点です。

現実のデータやAIの構造上、次のような理由から事実そのものを知らない状態にはならない場合があります。

• 他の学習データとの重複：削除対象となった文章や情報と同一、あるいは酷似した内容が別の学習データにも含まれていた場合、1件を除外しても別のデータから同じ事実を学習してしまいます。
• 推論による論理的導出：モデルが獲得した他の一般的な知識や文脈の組み合わせから、削除されたはずの事実が自然に推論・予測できてしまうことがあります。
• 事前学習モデルの影響：特定の追加学習（ファインチューニング）からデータを除去できたとしても、土台となる大規模な事前学習モデル（基盤モデル）がすでにその知識を記憶していれば、モデル全体としては事実を保持し続けます。

機械的忘却が目指すのは「摂取した特定レコードの影響の除去」であり、世の中の知識からその事実を完全に抹消することではないという前提の理解が不可欠です。

ゼロからの再学習という「現実の壁」

理論上、最も確実な忘却方法は「削除要求があったデータを除外してゼロから再学習すること」です。これを行えば確実にゴールドスタンダードを達成できます。

しかし、現代の大規模な深層学習モデルの訓練には、数週間から数ヶ月の時間と、数千万円から数十億円規模の計算コスト（GPUリソースや電力）が必要です。ユーザーから1件の削除要求が届くたびにゼロから再学習を行うことは、経済的にも現実的にも不可能です。そのため、ゼロからの完全な再学習を避けつつ、それに近い状態を効率的に作り出す技術が求められています。

---

再学習を賢く分割・高速化するアプローチ――SISAフレームワーク

SISAフレームワークの基本構造

ゼロからの再学習コストを大幅に削減するために考案された代表的な手法が、Bourtouleら（2021年）の研究によって提案されたSISA（Sharded, Isolated, Sliced, Aggregated）フレームワークです。

SISAは学習手順を工夫することで、データ削除要求が生じた際の再計算範囲を局所的に封じ込めます。その仕組みは、名前を構成する4つのステップに集約されています。

1. Sharded（シャード分割）：訓練データ全体を、互いに重複しない複数のグループ（シャード）に分割します。
2. Isolated（完全独立学習）：各シャードのデータだけを用いて、完全に独立した別々のサブモデルを訓練します。シャード間では学習データを一切共有しません。
3. Sliced（スライス分割と保存）：各シャード内のデータをさらに小さな塊（スライス）に分け、順番に学習を進めます。スライスを1つ学習するごとに、その時点のモデルパラメータ（中間状態）をチェックポイントとして保存します。
4. Aggregated（統合出力）：推論時には、すべてのサブモデルの出力を多数決や平均化によって統合し、最終的な予測結果を出力します。

「巻き戻し」による効率的な再学習

SISAの真価はデータ削除時に発揮されます。あるデータレコードの削除要求が届いた場合、システムはそのデータが含まれている「特定のシャード」のみを特定します。他のシャードで学習されたサブモデルは完全に独立しているため、一切変更を加える必要がありません。

該当するシャードにおいても最初から再学習するのではなく、「削除対象のデータが含まれるスライスの直前のチェックポイント」までモデルの状態を巻き戻します。そこから対象データのみを取り除き、残りの後続スライスだけを順番に再学習します。これにより、過去のすべての計算をやり直す必要がなくなり、再学習時間を大幅に短縮できます。

実験条件と高速化の数値、精度低下のトレードオフ

SISAによる高速化の度合いやモデル精度への影響は、タスクや分割設定に大きく依存します。

原典論文（Bourtouleら、arXiv:1912.03817v3）では、20シャード・50スライスという設定のもと、複数のデータセットを用いて削除実験が行われました。ゼロからの再学習と比較した高速化倍率は以下の通り報告されています。

• Purchaseデータセット（8件削除）：約4.63倍の高速化
• SVHN（Street View House Numbers、18件削除）：約2.45倍の高速化
• ImageNet画像分類（39件削除）：約1.36倍の高速化

このように、タスクやデータ構造によって得られる高速化の幅は大きく異なります。

さらに重要なのが、モデルの予測精度とのトレードオフです。SISAではデータを細かく分割して独立に訓練するため、データ全体を一度に見て学習する通常のモデルに比べて汎化性能が低下しやすくなります。特に大規模で複雑なImageNetの画像分類タスクでは、SISAの分割学習を適用した結果、Top-5精度が19.45ポイントも低下するという重大な性能低下が確認されています。再学習時間を短縮できる一方で、モデル本来の性能が著しく損なわれるリスクがある点は見逃せません。

SISAの制約と限界

SISAを導入するには、モデルの設計段階からデータをシャードとスライスに分割し、チェックポイントを保存しておく運用体制が必要です。したがって、すでに単一の巨大モデルとして訓練が完了している既存モデルに対して、後からSISAを適用することはできません。また、各サブモデルの初期値として共有の事前学習モデルを使用する場合、その共有部分に対象データが含まれていないかを別途検証しなければならないなど、適用環境には明確な制約が存在します。

---

モデルの重みを直接更新する「近似的忘却」とその課題

近似的忘却（Approximate Unlearning）の考え方

SISAのように再学習範囲を局所化するアプローチに対し、すでにある学習済みモデルの重みパラメータを直接計算して修正し、忘却を達成しようとするアプローチを「近似的忘却（Approximate Unlearning）」と呼びます。

近似的忘却が目指すのは、モデルを未学習の初期状態（ランダムな重み）に戻すことではありません。「対象データを除外して再学習した理想的モデル（ゴールドスタンダード）の振る舞いに、一定の許容誤差の範囲で統計的に近づけること」を目指します。

クラスタリング手法における数理的定式化（Ginartらの研究）

機械学習におけるデータ削除問題を数理的に定式化した先駆的研究として知られるのが、Ginartら（2019年、NeurIPS）の成果です。

Ginartらはデータ削除要請に対してゼロからの再計算を回避するアルゴリズムを提案し、特定のクラスタリング手法（k-meansやQuantized k-meansなど）において有効性を実証しました。彼らの実験では、1度の初期訓練を行った後、1000件の連続したデータ削除を行うという評価条件下において、ゼロからの再クラスタリングを繰り返すよりも大幅に高速かつ効率的にデータを削除できることが示されました。

ただし、この成果はクラスタリングという比較的単純で数理的な追跡が容易な特定のアルゴリズムにおいて示されたものです。何億もの非線形パラメータが複雑に干渉し合う深層ニューラルネットワークや大規模言語モデル全般に対して、このk-meansの倍率やアルゴリズムをそのまま当てはめることはできません。

深層学習におけるパラメータ修正：影響関数と勾配上昇

深層ニューラルネットワークの重みを直接修正する手法としては、主に「影響関数（Influence Functions）」と「勾配上昇法（Gradient Ascent）」が研究されています。

• 影響関数を用いたアプローチ：統計学の理論を応用し、「特定データが学習セットに存在したことで全体のパラメータがどれくらい変化したか」を数理的に推定する手法です。二次微分（ヘッシアン行列）を用いてその影響を逆算し、パラメータから差し引きます。影響関数が目指すのは未学習状態に戻すことではなく、「そのデータが存在しなかった場合に最適化されていたはずのパラメータ状態」です。
• 勾配上昇法：通常のモデル訓練では損失（予測誤差）を最小化するように重みを更新しますが（勾配降下法）、勾配上昇法ではその逆を行い、忘れさせたい対象データに対する損失を意図的に増大させる方向へ重みを更新します。

損失の増大は忘却の成功ではない――「破滅的忘却」の罠

ここで注意すべきは、「勾配上昇法によって対象データに対する損失を増やし、正解できなくさせれば忘却に成功したと言えるのか」という問題です。

結論として、損失の増大は忘却の成功を意味しません。損失を無理やり高めてモデルを間違えさせることは、単に対象データ周辺の重みを乱雑に破壊したに過ぎず、最初から学んでいなかった基準モデルの自然な振る舞いとは全く異なる状態を作り出してしまうためです。

さらに深刻なのが「破滅的忘却（Catastrophic Forgetting）」のリスクです。ニューラルネットワークの重みは無数の知識で共有されているため、1件のデータを忘れさせようとして重みを動かすと、無関係な他の重要な知識や推論能力まで一気に崩壊してしまう現象が起こります。対象データの影響だけを正確に取り除き、保持すべき他の知識や精度を損なわないようにパラメータを調整することは極めて困難です。

---

「答えないこと」と「忘れたこと」の違い――忘却の検証と評価の難しさ

出力の回答抑制と重みからの忘却は別物である

AIに「Aさんの電話番号を教えてください」と尋ねた際、「その質問にはお答えできません」と返答されると、利用者は情報が消去されたと考えがちです。しかし、出力の回答抑制とモデルの重みからの忘却はまったくの別物です。

モデルが回答を出さないようにする代表的な手段には次の2つがあります。

1. 外部フィルター（プロンプト・出力検閲）：AI本体の前後に検閲システムを置き、特定の個人名や機密キーワードをブロックする仕組みです。これはモデルに「口止めテープ」を貼っている状態に過ぎず、内部パラメータには情報が完全に残っています。
2. 安全性アライメント（指示調整・強化学習）：RLHFなどを用いて、「その質問には『答えられません』と返答する」という振る舞いを追加学習させる方法です。

どちらのアプローチであっても、表面的な回答拒否だけを見て「忘却できた」と判断することはできません。巧妙なプロンプト（脱獄、Jailbreak）を入力したり、モデル内部の潜在表現を直接解析したりすれば、隠された情報が依然として引き出せてしまうリスクが残るためです。

忘却をどう評価するか：メンバーシップ推論攻撃（MIA）

モデルが本当に特定のデータを忘れたかどうかを検証する代表的な手法が、メンバーシップ推論攻撃（Membership Inference Attack: MIA）です。MIAは、「あるデータレコードが、そのモデルの訓練データ（メンバー）として使われたかどうか」を統計的に推測する攻撃手法です。

機械学習モデルは一般に、訓練時に目にしたデータに対しては確信度が高く（損失が小さく）なり、未知のデータに対しては確信度が低くなる傾向があります。MIAはこの挙動の違いを分析して学習の痕跡を暴き出します。忘却処理が適切であれば、削除対象データに対するモデルの反応は、一度も見たことがない未知データを与えたときの反応と区別がつかなくなるはずです。

「攻撃正解率50%」という数字の真の意味と限界

忘却の指標として「MIA攻撃に対する攻撃者の正解率が50%まで低下したから忘却成功」と説明されることがあります。しかし、「攻撃正解率50%」を万能な合格基準と捉えるのは危険です。

正解率50%がランダムな推測を意味するのは、「学習データ」と「未知データ」が同数（1対1）用意された、均衡な二値判定という厳密な実験室の条件下のみです。現実世界では学習データと未知データの比率は大きく偏っています。

さらに、攻撃者のアクセス権限によっても結果は劇的に変化します。

• ブラックボックス環境：モデルの最終出力テキストや予測ラベルのみを観察できる条件。この条件下で攻撃が防げて忘却に成功したように見えても安心はできません。
• ホワイトボックス環境：モデルの内部パラメータ、勾配、活性化状態を直接観察できる条件。ブラックボックスでは隠せていたデータの影響が、ホワイトボックスでの詳細な統計解析によって検出されるケースは少なくありません。

また、MIAには偽陽性（誤検出）や統計的なばらつきが伴います。特定の検査を一度通過したからといって、それが完全な消去を無条件に保証するわけではないのです。

理論上の保証と実験上の評価、そして保持性能の比較

忘却の評価では、「理論上の保証」と「実験上の評価」を区別して捉える必要があります。

• 理論上の保証（Certified Unlearning）：差分プライバシーの理論を応用し、データが存在した場合と存在しなかった場合の出力確率の差が一定の微小値（ε）以下に収まることを数学的に証明するアプローチです。強固な安全性が担保されますが、大規模モデルに適用すると過度なノイズにより実用性が著しく損なわれる課題があります。
• 実験上の評価：MIA耐性テストや各種ベンチマークを実行して経験的に安全性を測るアプローチです。

実験上で評価する際は、削除対象のデータが消えたかだけでなく、モデル本来の性能（保持性能）が維持されているかも測定しなければなりません。このとき、比較対象として「忘却前の元モデル」だけでなく、「対象データを除外してゼロから再学習した基準モデル」を用意することが不可欠です。データを1件取り除いたことによる自然な性能変化と、忘却処理の失敗による余計な性能破壊を客観的に区別するためです。

---

法的要請（GDPR）と技術的現実――「忘れられる権利」にAIはどう応えるべきか

GDPR第17条と欧州の見解

プライバシー保護の観点から法規制も整備されています。代表的なものが、EUの一般データ保護規則（GDPR）第17条に定められた「消去権（忘れられる権利：Right to be forgotten）」です。一定の要件を満たす場合、個人が事業者に対して自己の個人データの消去を求める権利を認めており、欧州データ保護会議（EDPB）等もAI学習データへの適用について議論を進めています。

技術的指標と法的適合判断を混同してはならない

実務上注意すべきは、「技術的・数学的な忘却指標」と「法律上求められる消去義務の充足（法的適合判断）」は必ずしも同一ではないという点です。

法律が目指すのは個人の権利利益の不当な侵害を防ぐことであり、あらゆるパラメータから1ビットの痕跡もなく消去されたと数学的に証明することだけが唯一の解決策とは限りません。一方で、技術者が「MIAの正解率がランダム水準に達した」と主張しても、それが直ちに規制当局からGDPR第17条の要件を満たしたと法的に認められるかは、国際的にも議論が続く発展途上の領域です。

実務における「多層防御」の現実解

現在の大規模AI運用において、単一の忘却アルゴリズムだけで法と安全の要求をすべて満たすことは困難です。そのため、現場では複数の防壁を組み合わせた「多層防御」が現実解として採用されています。

1. ストレージ層での物理消去：削除要求があった個人の生データやログを大元のデータベースから即座に物理消去する（最低限必須の対応）。
2. 検索・インデックス層での除外：RAGなどの外部検索インデックスから該当データを削除し、検索結果としてモデルに渡らないようにする。
3. 入出力層でのガードレール：検閲フィルターにより該当個人に関する直接的な出力を抑止する。
4. 計画的な再訓練サイクル：削除要求が蓄積された段階で、それらのデータを除外したクリーンなデータセットを用意し、定期アップデート時にモデルを再学習する。

---

よくある質問（FAQ）

Q1. RAG（検索拡張生成）を採用していれば、機械的忘却の問題はすべて解決しますか？

A1. 外部文書を参照するだけの知識であれば解決しますが、完全な解決策ではありません。 モデル本体の重みには学習されておらず、単に外部データベースから検索して回答を生成しているデータであれば、外部DBからファイルを削除してインデックスを更新するだけで即座に参照を遮断できます。しかし、モデル自体の事前学習や追加学習ですでに同じデータが学習されていた場合、外部ファイルを消しても重みには記憶が残ります。重みの中の情報と外部参照情報を明確に分離して設計することが不可欠です。

Q2. モデルの重みをいじらず、追加学習で新しい記憶を上書きして消去することは可能ですか？

A2. 見かけ上は隠せても、根本的な消去にはなりません。 例えば「Aさんの電話番号は登録されていない」という新しいデータを追加学習させると、通常の質問には「登録されていない」と答えるようになります。しかし、これは古い記憶の上に新しい記憶が覆いかぶさっただけであり、内部パラメータには過去の関連付けが潜在的に残存しています。巧妙なプロンプトやパラメータ解析によって元の情報が復元されるリスクが残るため、真の忘却とはみなせません。

Q3. オープンソースのモデルと商用APIモデルで、機械的忘却の実現性はどう違いますか？

A3. 内部パラメータへのアクセス権限と、実行できる対策の範囲が根本的に異なります。 自社サーバーで運用するオープンソースモデルの場合、重みパラメータや勾配、中間チェックポイントに直接アクセスできるため、SISAのような分割再学習や近似的忘却アルゴリズムを自ら実装・検証することが技術的に可能です。一方、商用クラウドAPIモデルでは重みに直接触れられないため、提供元の定期的な再訓練によるモデル差し替えを待つか、自社側では外部フィルターやRAGインデックス除外といった外周での防御策に頼らざるを得ません。

---

まとめ

「AIモデルは学習データを忘れられるのか？」という問いに対する現在の科学的な答えは、「簡単には忘れられず、完全な忘却の実現には多くの技術的・実用的なトレードオフが存在する」ということです。

大元のファイルを削除しても重みの影響は残り続けます。SISAのようにデータを分割して再学習を効率化する手法は有効ですが、モデルの精度低下という代償を伴う場合があります。また、パラメータを直接修正する近似的忘却では他の知識を壊してしまう破滅的忘却のリスクがつねにつきまとい、出力を単に抑止しただけでは忘却したとは言えません。

機械的忘却は、個人のプライバシーを守る「忘れられる権利」とAIの利便性を両立させるための重要領域です。単一の技術に過度な幻想を抱くことなく、それぞれの仕組みが持つ前提条件や限界を正しく理解した上で、技術の進歩を冷静に見極めていく姿勢が求められます。

---