概要
埋め込み(embedding)は、テキストの意味を数値ベクトルとして表現する方法です。これにより、テキスト同士の「距離」や「類似度」を計算できます。 セマンティック検索、クラスタリング、レコメンド、異常検知、分類など、多くの AI アプリケーションの基盤になります。YouRouter はシンプルで統一された API で主要な埋め込みモデルにアクセスできます。使い方
バッチ処理
効率化のため、input に文字列配列を渡すと、1 回のリクエストで複数の埋め込みを生成できます。
パラメータ
埋め込み対象のテキスト。単一文字列または配列(バッチ)を指定できます。
使用する埋め込みモデル ID(例:
text-embedding-ada-002)。返却形式。
float または base64。JSON サイズ削減には base64 が有効です。エンドユーザー識別子。監視や不正利用検知に利用できます。
ユースケース
セマンティック検索
キーワードの完全一致ではなく、ユーザーのクエリと文脈的に関連する結果を探します。同じ単語を含まない場合でも、クエリのベクトル埋め込みと文書の埋め込みを比較することで実現できます。分類とクラスタリング
埋め込みは機械学習モデルの特徴量として強力です。感情分析やトピック分類などの分類器の学習に使ったり、クラスタリングアルゴリズムで類似項目をグループ化したりできます。ベストプラクティス
前処理
前処理
最新の埋め込みモデルは堅牢ですが、用途によっては不要な文字の除去やテキスト正規化などの軽い前処理が有効な場合があります。ただし、過度な stemming やストップワード除去は重要な文脈を削ることがあるため避けてください。
バッチで効率化
バッチで効率化
複数のテキストを埋め込む必要がある場合は、文字列配列を渡すバッチ機能を使います。ネットワーク往復回数を減らせるため、レイテンシを大きく下げられます。
キャッシュ
キャッシュ
人気の検索クエリや文書タイトルなど、同じテキストを頻繁に埋め込む場合は、Redis やインメモリキャッシュなどのキャッシュ層を用意します。API 呼び出しを減らし、コストを下げ、性能を改善できます。
スケール:ベクトル DB
数千件を超える埋め込みを扱う場合、上の例のような全件比較による類似検索は遅く非効率になります。このような規模では、ベクトルデータベースが有効です。 ベクトルデータベースは、数百万から数十億規模のベクトル埋め込みを高速に保存・検索するための専用システムです。HNSW や IVF などの高度なインデックスアルゴリズムを使って近似最近傍(ANN)検索を行い、速度と精度のバランスを取ります。 代表的な選択肢:- クラウドサービス:Pinecone、Zilliz Cloud
- オープンソース / セルフホスト:Weaviate、Milvus、Chroma、Qdrant