Milvus

Milvusとは?

Milvusは、大規模な非構造化データセットに対するスケーラブルで高性能な類似性検索を目的として構築された、オープンソースのクラウドネイティブなベクトルデータベースです。Zillizによって開発され、Apache 2.0ライセンスの下で管理されているMilvusは、AIや機械学習モデルによって生成されたデータの数値表現である高次元ベクトル埋め込みを効率的に保存、インデックス化、クエリします。

このプラットフォームは、ラップトップでのプロトタイピングから、分散アーキテクチャ全体で数百億のベクトルを管理するエンタープライズ本番環境まで、弾力的にスケールするように設計されています。Milvusは、セマンティック検索、レコメンデーションシステム、検索拡張生成(RAG)、コンピュータビジョン、異常検知などのアプリケーションを支え、非構造化データに対する高速で正確な類似性検索を必要とするAIアプリケーションの構築を可能にします。

コアコンセプト

ベクトル埋め込み

テキスト、画像、音声などの非構造化データのセマンティックまたは構造的情報をエンコードする高次元配列(例:128、768、4096次元)。OpenAI、Hugging Faceトランスフォーマー、その他のニューラルネットワークなどの埋め込みモデルによって生成され、埋め込みは複雑なデータを効率的な数学的比較に適した形式に変換します。

意味的に類似したアイテムは、高次元空間内で互いに近い位置に埋め込みを持ち、距離計算による類似性検索を可能にします。

非構造化データ

事前定義されたスキーマや構造を持たないデータ—自由形式のテキスト、画像、音声、動画。リレーショナルデータとは異なり、非構造化データは従来のデータベースでは処理や分析が困難です。ベクトル埋め込みは、このデータを固定長ベクトルとして表現し、効率的なインデックス化、検索、取得を可能にします。

類似性検索とANN

類似性検索: ベクトル距離メトリック(ユークリッド距離、コサイン類似度、内積)に基づいて、クエリアイテムに最も類似したデータセット内のアイテムを見つけること。

近似最近傍探索(ANN): クエリベクトルに最も近いベクトルを持つアイテムを迅速に取得するアルゴリズムファミリー。わずかな精度を犠牲にして大幅な速度向上を実現—数十億規模のデータセットには不可欠。

アーキテクチャ

マイクロサービスベースの設計

Milvusは、ストレージとコンピュートを分離した多層マイクロサービスアーキテクチャを実装しています。この設計は、データプレーンとコントロールプレーンの分離に従い、独立したスケーラビリティと運用の柔軟性を促進します。

主要コンポーネント:

アクセス層: クライアントリクエストとAPI(RESTful、SDK)を処理するステートレスプロキシ。リクエストの検証、結果の集約を行います。

コーディネーターサービス: ロードバランシング、メタデータ管理、システム状態、DDL/DCL操作、タスクスケジューリングを調整します。

ワーカーノード: 検索、データ挿入、インデックス化のためのステートレスエグゼキューター。

• ストリーミングノード: リアルタイムデータ取り込みとストリーミング一貫性を処理
• クエリノード: 履歴(シール済み)データをロードしてクエリ
• データノード: コンパクションやインデックス構築などのバックグラウンドタスク

オブジェクトストレージ: ベクトルデータ、インデックス、ログを永続化。MinIO、AWS S3、Azure Blobをサポート。

メタストレージ: メタデータとクラスタ状態にetcdを使用。

WALストレージ: データの耐久性と復旧のための先行書き込みログ(Kafka、Pulsar)。

デプロイメントオプション

スケーラビリティ

水平スケーリング: コンピュートとストレージが独立してスケール。ステートレスマイクロサービスにより、Kubernetesによって調整される弾力的な復旧が可能。

ハードウェア最適化: AVX512、SIMD、GPUアクセラレーション(NVIDIA CUDA、Cagra)、NVMe SSDサポート。

数十億規模のサポート: 主要企業の本番環境で使用されている数百億のベクトルを持つデータセットに対する実証済みの安定性。

主要機能

サポートされるデータタイプ

密ベクトル: float32、float16、int8配列(BERT、CLIP、ResNetから)。

疎ベクトル: 多くのゼロを持つ高次元データに効率的(テキスト検索、レコメンデーション)。

バイナリベクトル: ハッシュ化やビジョンタスク用のコンパクトなビットパック表現。

プリミティブ: 整数、浮動小数点、文字列、ブール値。

JSON/配列/セット: 半構造化メタデータとマルチモーダルモデリング。

インデックスアルゴリズム

重要なコンセプト:

• グラフベースインデックス(HNSW)は、低k、高再現率クエリでIVFを上回る
• IVFは大規模top-kクエリに最適
• DiskANNはSSDバックアップの数十億規模データセットに理想的
• 量子化(SQ8、PQ)はメモリ効率のためにベクトルを圧縮

検索機能

ANN検索: クエリに最も類似したtop-Kベクトルを見つける。

フィルタリング検索: ベクトル検索とメタデータフィルタリング(タグ、範囲)を組み合わせる。

範囲検索: 距離閾値内のベクトルを取得。

ハイブリッド検索: クエリで複数のベクトルフィールド/モダリティを使用。

全文検索: テキストフィールドのBM25ベース検索。

リランキング: セカンダリアルゴリズムで初期結果を洗練。

IDによる取得: プライマリキーまたは複雑な式でアイテムを取得。

データ操作

コレクションとパーティション: 効率的なアクセスのためにデータを階層的に整理。

スキーマ進化: ダウンタイムなしでコレクションスキーマを更新。

CRUD操作: ベクトルとメタデータの挿入、更新、削除、アップサート。

バッチ処理: 一括インポート/エクスポートツール。

マルチテナンシー: データベース、コレクション、またはパーティションキーによる分離。

一貫性とセキュリティ

設定可能な一貫性: 強い一貫性、境界付き陳腐化、セッション、結果整合性モデル。

認証とRBAC: ユーザー認証、ロールベースのアクセス制御、きめ細かい権限。

TLS暗号化: 転送中のデータを保護。

階層型ストレージ: コスト効率の高いパフォーマンスのためのホット/コールドストレージ。

統合エコシステム

SDKとAPI

言語サポート: Python(PyMilvus)、Java、Go、Node.js、C#、RESTful API。

AIフレームワーク統合: LangChain、LlamaIndex、OpenAI、Hugging Face、DSPy、Haystack、Ragas、MemGPT。

データ処理: MLパイプライン用のApache Sparkコネクタ。

可観測性: 監視用のPrometheusとGrafana。

管理ツール: Attu(GUI)、Birdwatcher(デバッグ)、Milvus BackupとCDC、Vector Transmission Services(移行)。

例: OpenAI統合

from pymilvus import MilvusClient

# Connect to Milvus
client = MilvusClient("milvus_demo.db")

# Create collection
client.create_collection(
    collection_name="demo_collection",
    dimension=5
)

# Insert vectors
vectors = [[0.1, 0.2, 0.3, 0.4, 0.5]]
client.insert(collection_name="demo_collection", data=vectors)

# Perform similarity search
query_vector = [0.1, 0.2, 0.3, 0.4, 0.5]
results = client.search(
    collection_name="demo_collection",
    data=[query_vector],
    top_k=1
)

ユースケース

検索拡張生成(RAG): ベクトル検索を介してLLMを外部知識ベースに接続し、取得されたドキュメントに基づいた正確でコンテキストに関連するAI応答を可能にします。

レコメンデーションシステム: ユーザー嗜好埋め込みとアイテム特徴に基づいてコンテンツ、製品、広告を表示。eコマース、ストリーミング、ニュースフィードで使用。

コンピュータビジョン: 視覚的埋め込みを使用した画像類似性検索、物体検出、分類。逆画像検索、医療画像検索、小売ビジュアル検索を可能にします。

自然言語処理: テキスト埋め込みを使用したセマンティック検索、ドキュメントクラスタリング、チャットボット検索。法的文書検索、コンテキストチャットボット、FAQシステムに使用。

不正・異常検知: トランザクションパターンやネットワークイベントをベクトル化し、金融詐欺やサイバーセキュリティにおけるリアルタイム異常検知を実現。

科学研究: 分子類似性検索、ゲノム解析、材料科学アプリケーション。

業界での採用

Milvusを使用している組織には、NVIDIA、Salesforce、eBay、Walmart、IBM、Shopee、Tokopedia、AT&T、PayPal、ZipRecruiter、SmartNews、LINE、Bosch、Intuit、Roblox、Compass、OMERS、New Relicなどがあり、多様なAIおよび分析ワークロードに使用されています。

他のベクトルデータベースとの比較

Milvusの利点: 豊富なインデックスの多様性、実証済みの数十億規模のパフォーマンス、オープンコミュニティ、幅広いSDKサポート、ハイブリッドおよびマルチモーダル検索、エンタープライズグレードのセキュリティ。

参考文献

• Milvus公式ドキュメント
• Milvusアーキテクチャ概要
• Milvus GitHubリポジトリ
• Zilliz公式サイト
• インストール概要
• インデックスの説明
• PyMilvus APIリファレンス
• LangChain統合
• LlamaIndex統合
• OpenAI統合ガイド
• Apache Sparkコネクタ
• Attu GUIツール
• Prometheus監視
• Grafanaダッシュボード
• Hugging Face Hub
• DSPyフレームワーク
• Haystack統合
• Ragasフレームワーク
• MemGPT