Das Embedding-Modell für den DataVault kann wie folgt konfiguriert werden.

​
Allgemeine Parameter

Alle Embedding-Provider unterstützen folgende Parameter zur Ratenbegrenzung:

ParameterBeschreibungVerpflichtendStandard
rpmMaximale Anzahl API-Anfragen pro Minute✗3000
tpmMaximale Anzahl verarbeiteter Tokens pro Minute✗1000000

​
OpenAI

API-Keys für OpenAI können unter https://platform.openai.com/settings/organization/api-keys erstellt werden.

ParameterBeschreibungVerpflichtendStandard
providerMuss auf “openai” gesetzt werden✓-
api_keyAPI-Schlüssel von OpenAI✓-
modelName des Embedding-Modells✗text-embedding-ada-002
base_urlAlternative API-URL (z.B. für Proxy)✗https://api.openai.com/v1
rpmMaximale API-Anfragen pro Minute✗3000
tpmMaximale Tokens pro Minute✗1000000
embedding_model:
  provider: openai
  api_key: $OPENAI_API_KEY
  model: text-embedding-ada-002
  base_url: https://api.openai.com/v1

​
Azure

Modell-Deployments können über das Azure OpenAI Studio verwaltet werden.

ParameterBeschreibungVerpflichtendStandard
providerMuss auf “azure” gesetzt werden✓-
api_keyAPI-Schlüssel von Azure✓-
api_versionVersion der Azure OpenAI API✗2023-05-15
modelName des deployten Modells✗text-embedding-3-small
endpointAzure OpenAI Endpoint URL✗https://meingpt-canada.openai.azure.com/
embedding_dimensionsDimensionen des Embedding-Vektors✗512
rpmMaximale API-Anfragen pro Minute✗3000
tpmMaximale Tokens pro Minute✗1000000
embedding_model:
  provider: azure
  api_key: $AZURE_API_KEY
  api_version: "2023-05-15"
  model: text-embedding-3-small
  endpoint: https://meingpt-canada.openai.azure.com/
  embedding_dimensions: 512

​
Nebius

API-Keys für Nebius können unter studio.nebius.ai/ erstellt werden

ParameterBeschreibungVerpflichtendStandard
providerMuss auf “nebius” gesetzt werden✓-
tokenizerName des HuggingFace-Tokenizers✗BAAI/bge-multilingual-gemma2
modelName des Embedding-Modells✗bge-multilingual-gemma2
base_urlAPI-Endpunkt von Nebius✗https://api.studio.nebius.ai/v1/
api_keyAPI-Schlüssel von Nebius✓-
rpmMaximale API-Anfragen pro Minute✗3000
tpmMaximale Tokens pro Minute✗1000000
embedding_model:
  provider: nebius
  tokenizer: BAAI/bge-multilingual-gemma2
  model: bge-multilingual-gemma2
  base_url: https://api.studio.nebius.ai/v1/
  api_key: $NEBIUS_API_KEY

​
HuggingFace

Da HuggingFace-Modelle lokal betrieben werden, ist kein API key notwendig.

ParameterBeschreibungVerpflichtendStandard
providerMuss auf “huggingface” gesetzt werden✓-
modelName oder Pfad des Modells✗sentence-transformers/all-mpnet-base-v2
model_kwargsZusätzliche Parameter für die Modell-Initialisierung (z.B. revision, cache_dir)✗{}
encode_kwargsZusätzliche Parameter für die Encoding-Methode (z.B. normalize_embeddings, max_length)✗{}
deviceGerät für die Ausführung (cpu, cuda, mps)✗cpu
batch_sizeAnzahl parallel verarbeiteter Texte✗32
rpmMaximale API-Anfragen pro Minute✗3000
tpmMaximale Tokens pro Minute✗1000000
embedding_model:
  provider: huggingface
  model: BAAI/bge-small-en-v1.5
  device: cuda
  batch_size: 32
  model_kwargs:
    trust_remote_code: true
    cache_dir: /path/to/cache
  encode_kwargs:
    normalize_embeddings: true
    max_length: 512

Das Wechseln des Embedding-Modells erfordert ein erneutes Verarbeiten sämtlicher Daten, da die Embeddings untereinander nicht kompatibel sind. Dies kann mit erheblichen Kosten verbunden sein.

Was this page helpful?

Basis-KonfigurationDatenquellen