モデルモニタリング
Model Monitoring
本番環境のAIモデルを継続的に監視し、性能低下を早期に検知する仕組み。MLOps の中核。
モデルモニタリングとは？
**モデルモニタリングは、本番環境で動作するAIモデルの性能を継続的に監視し、異常や劣化を早期に検知する仕組みです。**デプロイ後、モデルは放置されるのではなく、常にヘルスチェックを受け続けます。
ひとことで言うと： 自動車が走行中も継続的にエンジンやブレーキをチェックするようなもの。問題を早期に発見し、事故を防ぎます。
ポイントまとめ：
- 何をするものか： 本番モデルの継続的な性能監視
- なぜ必要か： 性能低下を早期に検知し、ビジネス損失を防ぐため
- 誰が使うか： MLOpsエンジニア、データサイエンティスト、運用チーム
なぜ重要か
デプロイされたモデルは時間とともに劣化します。データドリフトにより予測精度が低下し、コンセプトドリフトにより予測の意味そのものが変わる場合があります。気づかないうちに、不正な予測が蓄積し、ビジネス損失につながります。
また、システム障害（API応答遅延、メモリ不足）やデータ品質問題（NULL値の増加、外れ値）も検知する必要があります。これらの異常を自動検知できれば、問題を素早く解決でき、サービス品質を維持できます。
仕組みをわかりやすく解説
モニタリングには、複数のレイヤーがあります。
パフォーマンスメトリクス監視は、精度、再現率、F1スコアなどを追跡します。ただし、新しいデータに対する正解ラベルがすぐに得られない場合もあります。その場合は、プロキシメトリクス（入力データの統計値など）を監視します。
データドリフト検知は、入力データの分布が訓練時と変わったかをチェックします。統計的テスト（KL ダイバージェンス、Kolmogorov-Smirnov テスト）を使って検判します。
システムメトリクス監視は、API の応答時間、スループット、エラー率、メモリ使用量などをチェックします。これはモデル性能ではなく、サービス品質を保証します。
アラート設定により、閾値超過時に自動通知を送り、チームが素早く対応できます。
実際の活用シーン
レコメンデーションシステム — ユーザーの好みやサイト仕様の変化により、推薦精度が低下します。毎日の購買データを監視し、ユーザー満足度の低下を検知したら再訓練します。
詐欺検出システム — 詐欺手口が進化すると、モデルの検知率が落ちます。日々の詐欺パターンを監視し、新しい手口を検知したら学習データに追加して再訓練します。
医療診断モデル — 新しい患者集団（異なる年齢層や地域）で精度が落ちることがあります。患者属性の分布を監視し、分布シフトを検知したら調査します。
メリットと注意点
メリット — 問題を早期に発見でき、対応が素早くできます。オートスケール対応も可能。
注意点 — 監視対象が多すぎるとノイズが増え、本当のアラートが見落とされます。閾値設定も難しく、定期的に調整が必要です。
関連用語
よくある質問
Q: どのメトリクスを監視すべき？ A: まずはモデルの予測精度、入力データの統計値、システムの応答時間を監視開始。ビジネス要件に応じて追加します。
Q: 監視の頻度は？ A: リアルタイムで高リスク（金融、医療）、1時間ごと～1日ごとで通常業務。ただし、コストと検知精度のバランスが大事。
Q: 閾値をどうやって決める？ A: 初期値は訓練データから算出し、本番運用で調整。機械学習を使った自動閾値設定ツールもあります。
