Anbieter

Unsere Plattform ist anbieterunabhängig, was bedeutet, dass sie unabhängig von einem einzelnen Dienstanbieter funktioniert. Egal, ob Sie OpenAIs ChatGPT, Microsofts Dienste oder einen anderen Anbieter nutzen, das System bleibt funktionsfähig und anpassungsfähig. Sollte ein Anbieter, wie ChatGPT oder Microsoft, den Betrieb einstellen, kann die Plattform nahtlos zu einem alternativen Anbieter wechseln, ohne erhebliche Störungen zu verursachen.

Um Details über den aktuellen Anbieter anzuzeigen, klicken Sie einfach auf seinen Namen oder sein Symbol. Im selben Fenster können Sie Informationen über einen Anbieter aktualisieren.

Chat-Modell & Einbettungsmodell

Das Chat-Modell ist verantwortlich für die Generierung von Antworten in natürlicher Sprache und die Ermöglichung interaktiver Gespräche mit Benutzern. Das Einbettungsmodell hingegen konzentriert sich auf das Abrufen von Daten und das Generieren relevanter Informationsstücke basierend auf semantischer Ähnlichkeit.

Wenn Sie den Wissensschalter einschalten, wird das gewählte Einbettungsmodell verwendet, um das im Dokumentenmanagementsystem gespeicherte Wissen zu verarbeiten und einzubetten. Diese kleineren Informationsstücke werden dann verwendet, um relevante Daten zu suchen und abzurufen. Sie können die Wissensfunktion nicht aktivieren, ohne zuerst ein Einbettungsmodell auszuwählen. Diese Funktion ermöglicht es Ihnen, die Kontrolle über Anbieter zu haben: Zum Beispiel könnten Sie OpenAI für den Chat verwenden, aber die Stücke über Azure erstellen wollen.

Sie sind verpflichtet, immer Informationen über das Chat-Modell bereitzustellen. Details über das Einbettungsmodell sind jedoch nur erforderlich, wenn Sie mit wissensbasierten Aufgaben arbeiten möchten, wie z.B. das Erstellen von RAG-Knoten (Retrieval-Augmented Generation). Die spezifischen Details, die Sie für jedes Feld ausfüllen müssen, hängen vom gewählten Anbietertyp und den zugehörigen Einstellungen ab.

Anbieter aktualisieren

Sie können die folgenden Anbietereinstellungen konfigurieren:

• Aktiviert: Sie können den Anbieter je nach Bedarf aktivieren oder deaktivieren.
• Wissen: Aktivieren Sie diesen Anbieter für wissensbezogene Funktionen. Dies kann das Abrufen oder Verwalten von Informationen umfassen.
• Standard: Setzen Sie diesen Anbieter als Standardoption. Wenn kein anderer Anbieter verfügbar oder konfiguriert ist, wird dieser automatisch für verschiedene Aufgaben verwendet.
• Orchestrator: Verwenden Sie diesen Anbieter als Orchestrierungsmodell, das die Auswahl der Flows bestimmt.
• Denkmodell: Aktivieren Sie dies für Denkmodelle.
• Benutzerdefinierte Parameter: Benutzerdefinierte Parameter, die an LiteLLM übergeben werden sollen.

Nach der Konfiguration der Anbietereinstellungen klicken Sie auf die Schaltfläche Speichern, um Ihre Änderungen anzuwenden und zu speichern.

Um einen Anbieter zu entfernen, klicken Sie auf die Schaltfläche Löschen. Sie werden aufgefordert, die Löschung zu bestätigen.

Neuen Anbieter erstellen

Um einen neuen Anbieter zu erstellen, klicken Sie auf die Schaltfläche Erstellen in der oberen rechten Ecke. Füllen Sie das Formular mit den folgenden Informationen aus: Anbietertyp, Titel, API-Schlüssel, URL, Chat-Modell, Einbettungsmodell. Bestätigen Sie mit Erstellen.