モデルドリフト

モデルドリフトとは？

**モデルドリフトは、本番環境でAIモデルの予測精度が時間とともに低下する現象です。**訓練時と本番運用時でデータのパターンが変わることが原因です。完璧に動作していたモデルが、数週間後には精度が落ちているということがよく起きます。

ひとことで言うと： 地震計のキャリブレーション後、時間とともに計測値がズレていくようなもの。定期的な再調整が必要です。

ポイントまとめ：

モデルは過去のデータで訓練されますが、現実は常に変化します。消費者の行動は季節やトレンドで変わり、経済環境は急変し、ユーザーは新しい行動パターンを採用します。これらの変化をキャッチしないと、モデルの予測は外れ始めます。

詐欺検出モデルなら、詐欺師の手口が進化するにつれ検知率が低下します。推薦システムなら、ユーザーの好みの変化についていけず、精度が落ちます。このズレを見過ごすと、直接的なビジネス損失につながります。

ドリフトには、主に2つの種類があります。

データドリフトは、入力データの統計的分布が変わる現象です。去年のユーザーデータと今年のユーザーデータで、年齢分布や閲覧パターンが異なる場合、訓練済みモデルはズレた予測をします。

コンセプトドリフトは、同じ入力データであっても、その意味や予測対象の関係が変わることです。例えば、「顧客の購買頻度が低い」が以前は流失の兆候でしたが、景気悪化で全体的に購買頻度が下がった場合、この指標の意味が変わります。

ドリフト検知には継続的な監視が必要です。訓練データと本番データのメトリクスを比較し、スレッショルド（閾値）を超えたら再訓練を実行します。

信用スコアモデル — ローン審査のモデルは、経済危機が起きると精度が落ちます。過去の不況期データで再訓練する必要があります。

需要予測 — 季節商品の販売量予測モデルは、大型セールやキャンペーン時にドリフトします。プロモーション効果を学習し、モデルを更新します。

スパムフィルタ — スパマーが手口を変えると、フィルタの精度が低下します。新しいスパムパターンを検知し、モデルを定期的に再訓練します。

メリット — ドリフト検知により、精度低下を事前に防ぎ、ビジネス価値を持続させられます。

注意点 — ドリフト検知自体も「正常と異常」の境界を判定する必要があり、閾値設定が難しい場合があります。また、一時的なノイズとドリフトの区別が重要です。頻繁な再訓練はコスト増加につながります。

Q: ドリフトが起きたと判定されたら、すぐに再訓練すべき？ A: 状況によります。一時的なノイズなら様子見、明確なトレンドなら再訓練。ビジネス影響度とコストを考慮して判断します。

Q: どの頻度で精度を監視すべき？ A: 業界と状況次第です。高リスク領域（医療、金融）は毎日、標準的なシステムは週1回程度が目安です。

Q: モデルドリフトを完全に防ぐことは可能？ A: 不可能です。でも、継続的な監視と定期的な再訓練により、常に高い精度を維持することは可能です。