Open WebUI, früher bekannt als Ollama WebUI, ist eine leistungsstarke Open-Source-Plattform, die es Benutzern ermöglicht, über eine benutzerfreundliche Web-Schnittstelle mit großen Sprachmodellen (LLMs) zu interagieren und deren Fähigkeiten zu nutzen. Open WebUI basiert auf der Hugging Face Transformers-Bibliothek und bietet eine nahtlose Möglichkeit, modernste Sprachmodelle für verschiedene Aufgaben der natürlichen Sprachverarbeitung (NLP) zu erkunden und zu nutzen.
In diesem Artikel werden wir uns eingehend mit Open WebUI beschäftigen und seine Funktionen, den Installationsprozess und die effektive Verwendung mit Beispielcode-Snippets untersuchen. Wir werden auch den Prozess der Erstellung einer ChatGPT-ähnlichen Benutzeroberfläche für Ihre KI-Projekte abdecken, wie im YouTube-Video "Erstellen einer ChatGPT-ähnlichen Benutzeroberfläche für alle Ihre KI-Projekte" von Alejandro AO gezeigt.
Open WebUI bietet eine Vielzahl von Funktionen, die es für Entwickler und Forscher, die mit Sprachmodellen arbeiten, attraktiv machen:
Intuitive Web-Benutzeroberfläche: Open WebUI bietet eine saubere und intuitive Web-Benutzeroberfläche, die Benutzern ermöglicht, mit Sprachmodellen zu interagieren, ohne komplexe Einrichtung oder Programmierung zu benötigen.
Unterstützung für mehrere Modelle: Open WebUI unterstützt eine Vielzahl von Sprachmodellen, darunter GPT-2, GPT-Neo und BERT. Diese Flexibilität ermöglicht es den Benutzern, das am besten geeignete Modell für ihren spezifischen Anwendungsfall auszuwählen.
Echtzeit-Inferenz: Mit Open WebUI können Benutzer Echtzeit-Inferenz auf Eingabetext durchführen und Ausgaben basierend auf dem ausgewählten Sprachmodell und den Parametern generieren.
Anpassbare Parameter: Open WebUI ermöglicht es Benutzern, verschiedene Parameter wie Temperatur, top-k und top-p anzupassen, um die generierten Ausgaben gemäß ihren Präferenzen feinabzustimmen.
API-Integration: Open WebUI bietet einen API-Endpunkt, der problemlos in vorhandene Anwendungen oder Workflows integriert werden kann und programmbasierten Zugriff auf die Sprachmodelle ermöglicht.
Lokale und Remote-RAG-Integration: Open WebUI unterstützt Retrieval Augmented Generation (RAG), mit der Benutzer lokale und webbasierte Inhalte nahtlos in ihre Chats integrieren können, indem sie einen Prompt mit # starten. Diese Funktion befindet sich noch in der Alpha-Phase und kann gelegentlich auf Probleme stoßen.
Unterstützung für Prompt-Presets: Benutzer können sofort auf vordefinierte Prompts über den Befehl /command in der Chat-Eingabe zugreifen, um vorgegebene Gesprächsstarter zu laden und die Interaktion zu beschleunigen. Prompts können auch über die Open WebUI Community-Integration importiert werden.
RLHF Annotation: Open WebUI ermöglicht es Benutzern, Nachrichten mit Daumen hoch und Daumen runter zu bewerten und so die Erstellung von Datensätzen für das "Reinforcement Learning from Human Feedback" (RLHF) zu erleichtern. Diese Nachrichten können verwendet werden, um Modelle zu trainieren oder feinzutunen, während die Vertraulichkeit der lokal gespeicherten Daten gewährleistet bleibt.
Modelfile Builder: Open WebUI enthält einen Modelfile Builder, mit dem Benutzer Ollama-Modelfiles über die Web-Benutzeroberfläche einfach erstellen können. Benutzer können Charaktere/Agenten erstellen und hinzufügen, Chat-Elemente anpassen und Modelfiles mühelos über die Open-WebUI-Community-Integration importieren.
Integration der Bildgenerierung: Open WebUI integriert nahtlos die Bildgenerierungsfunktionen unter Verwendung der AUTOMATIC1111-API (lokal) und DALL-E, um das Chat-Erlebnis mit dynamischen visuellen Inhalten zu bereichern.
Um mit Open WebUI zu beginnen, befolgen Sie diese schrittweisen Anleitungen:
Repository klonen:
git clone https://github.com/open-webui/open-webui.git
cd open-webui
Abhängigkeiten installieren:
pip install -r requirements.txt
Anwendung ausführen:
python app.py
Zugriff auf die Web-Benutzeroberfläche:
Öffnen Sie Ihren Webbrowser und navigieren Sie zu http://localhost:5000, um auf die Open-WebUI-Benutzeroberfläche zuzugreifen.
Nachdem Sie Open WebUI installiert und aktiviert haben, können Sie beginnen, dessen Funktionen zu erkunden. Hier ist eine schrittweise Anleitung, wie Sie Open WebUI verwenden können:
In dem YouTube-Video "Erstellen einer ChatGPT-ähnlichen Benutzeroberfläche für alle Ihre KI-Projekte" von Alejandro AO wird eine schrittweise Anleitung gegeben, wie Sie eine benutzerfreundliche Chat-Benutzeroberfläche ähnlich wie ChatGPT für Ihre KI-Projekte erstellen können. Hier ist eine Zusammenfassung der wichtigsten Schritte:
create-react-app.react-chat-ui und axios, um die Chat-Benutzeroberfläche und die API-Kommunikation zu erleichtern.Chat, die als Haupt-Chat-Benutzeroberfläche dient. Importieren Sie die erforderlichen Komponenten aus react-chat-ui und richten Sie den anfänglichen Zustand für Nachrichten und Benutzereingabe ein.axios, um API-Aufrufe an den Backend-Server zu machen, indem Sie Benutzer-Nachrichten senden und generierte Antworten vom Sprachmodell empfangen.Indem Sie diesen Schritten folgen, können Sie eine ChatGPT-ähnliche Benutzeroberfläche für Ihre KI-Projekte erstellen und Benutzern eine intuitive und ansprechende Möglichkeit bieten, mit Sprachmodellen zu interagieren.
Open WebUI ist eine leistungsstarke Plattform, die eine Vielzahl von Funktionen und Anpassungsoptionen bietet. In diesem Artikel werden einige erweiterte Tipps und Techniken untersucht, mit denen Sie das Beste aus Open WebUI herausholen können. Es werden Themen wie Lastverteilung, OpenAI API-Endpunkte, Bildgenerierung und Retrieval Augmented Generation (RAG) behandelt.
Lastverteilung ermöglicht es Ihnen, die Verarbeitungslast auf mehrere Ollama-Instanzen zu verteilen, um die Leistung und Zuverlässigkeit zu verbessern. Hier erfahren Sie, wie Sie Open WebUI so konfigurieren können, dass es über Umgebungsvariablen mit mehreren Ollama-Instanzen verbunden wird:
Verwenden Sie den folgenden Befehl, um Open WebUI mit Docker auszuführen und mit mehreren Ollama-Instanzen zu verbinden:
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URLS="http://ollama-one:11434;http://ollama-two:11434" \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
Die Umgebungsvariable OLLAMA_BASE_URLS gibt die Basis-URLs für jede Ollama-Instanz an, durch Semikolon getrennt (;). Stellen Sie sicher, dass beide Ollama-Instanzen dieselbe Version verwenden und für jedes gemeinsam genutzte Modell übereinstimmende Tags haben.
Wenn Sie docker-compose bevorzugen, können Sie die Umgebungsvariable OLLAMA_BASE_URLS in Ihrer docker-compose.yaml-Datei definieren:
services:
open-webui:
environment:
- OLLAMA_BASE_URLS=http://ollama-one:11434;http://ollama-two:11434
Alternativ können Sie den Wert der OLLAMA_BASE_URLS-Variable in einer .env-Datei definieren, die sich im selben Verzeichnis wie Ihre docker-compose.yaml-Datei befindet:
OLLAMA_BASE_URLS="http://ollama-one:11434;http://ollama-two:11434"
Um Probleme zu vermeiden, stellen Sie sicher, dass beide Ollama-Instanzen identische Versionen und Tags für jedes gemeinsam genutzte Modell verwenden. Sie können die Schaltfläche "Alle Modelle aktualisieren" im Einstellungen> Modelle-Bildschirm verwenden, um die Modelle über Instanzen hinweg synchronisiert zu halten.
Open WebUI ermöglicht es Ihnen, mehrere OpenAI (oder kompatible) API-Endpunkte mit Hilfe von Umgebungsvariablen zu konfigurieren. Dadurch können Sie zwischen verschiedenen API-Anbietern wechseln oder mehrere Anbieter gleichzeitig nutzen.
Verwenden Sie den folgenden Befehl, um Open WebUI mit Docker auszuführen und mehrere OpenAI API-Endpunkte zu konfigurieren:
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
-e OPENAI_API_BASE_URLS="https://api.openai.com/v1;https://api.mistral.ai/v1" \
-e OPENAI_API_KEYS="<OPENAI_API_KEY_1>;<OPENAI_API_KEY_2>" \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
Ersetzen Sie <OPENAI_API_KEY_1> und <OPENAI_API_KEY_2> durch Ihre tatsächlichen API-Schlüssel.
In Ihrer docker-compose.yaml-Datei definieren Sie die Umgebungsvariablen OPENAI_API_BASE_URLS und OPENAI_API_KEYS:
services:
open-webui:
environment:
- 'OPENAI_API_BASE_URLS=${OPENAI_API_BASE_URLS}'
- 'OPENAI_API_KEYS=${OPENAI_API_KEYS}'
Sie können die Werte dieser Variablen in einer .env-Datei definieren:
OPENAI_API_BASE_URLS="https://api.openai.com/v1;https://api.mistral.ai/v1"
OPENAI_API_KEYS="<OPENAI_API_KEY_1>;<OPENAI_API_KEY_2>"
Open WebUI unterstützt die Bildgenerierung über zwei Backends: AUTOMATIC1111 und OpenAI DALL·E.
Um AUTOMATIC1111 für die Bildgenerierung zu verwenden, befolgen Sie diese Schritte:
Installieren Sie AUTOMATIC1111 und starten Sie es mit folgendem Befehl:
./webui.sh --api --listen
Für die Docker-Installation verwenden Sie den folgenden Befehl:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e AUTOMATIC1111_BASE_URL=http://host.docker.internal:7860/ -e IMAGE_GENERATION_ENABLED=True -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Gehen Sie in Open WebUI zu Einstellungen> Bilder und geben Sie die Adresse ein, unter der die AUTOMATIC1111-API erreichbar ist, in das Feld "API-URL".
ComfyUI ist eine alternative Oberfläche zur Verwaltung und Interaktion mit Bildgenerierungsmodellen. Um ComfyUI einzurichten:
Laden Sie das ComfyUI-Softwarepaket von GitHub herunter und extrahieren Sie es.
Starten Sie ComfyUI mit folgendem Befehl:
python main.py
Für Systeme mit niedrigem VRAM verwenden Sie die Option --lowvram:
python main.py --lowvram
Für die Docker-Installation verwenden Sie den folgenden Befehl:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e COMFYUI_BASE_URL=http://host.docker.internal:7860/ -e IMAGE_GENERATION_ENABLED=True -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Gehen Sie in Open WebUI zu Einstellungen> Bilder und geben Sie die Adresse ein, unter der die ComfyUI-API erreichbar ist, in das Feld "API-URL".
Um OpenAI DALL·E für die Bildgenerierung in Open WebUI zu verwenden, befolgen Sie diese Schritte:
Holen Sie sich einen API-Schlüssel von OpenAI:
Konfigurieren Sie Open WebUI für die Verwendung von OpenAI DALL·E:
Wählen Sie das DALL·E-Modell aus:
Generieren Sie Bilder mit DALL·E:
Beispielcode zur Generierung eines Bildes mit der OpenAI-API:
import openai
openai.api_key = "IHR_API_SCHLÜSSEL"
response = openai.Image.create(
prompt="Ein wunderschöner Sonnenuntergang über einem ruhigen Strand",
n=1,
size="1024x1024"
)
image_url = response['data'][0]['url']
print(image_url)
Retrieval Augmented Generation (RAG) ermöglicht es Ihnen, Kontext aus verschiedenen Quellen in Ihren Chats zu berücksichtigen. Text aus verschiedenen Quellen wird mit der RAG-Vorlage kombiniert und dem Benutzerprompt vorangestellt.
Aktivieren Sie RAG, indem Sie den Prompt mit einem #-Symbol starten.
Wählen Sie die gewünschte Quelle aus der Liste.
Um lokale Dokumente als Quellen für RAG zu verwenden:
Laden Sie die gewünschten Dokumente über den Bereich Dokumente in Open WebUI hoch.
Aktivieren Sie RAG und wählen Sie die hochgeladenen lokalen Dokumente als Quellen aus.
Um Webseiten als Quellen für RAG zu verwenden:
Starten Sie den Prompt mit #, gefolgt von der Ziel-URL.
Tipp: Verlinken Sie für bessere Ergebnisse mit einer Roh- oder lesefreundlichen Version der Seite, um überflüssige Informationen zu vermeiden.
Beispielcode zum Abrufen und Analysieren einer Webseite:
import requests
from bs4 import BeautifulSoup
url = "https://example.com/article"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
content = soup.find("div", class_="article-content").get_text()
print(content)
Open WebUI verwendet verschiedene Parser, um Inhalte aus lokalen und entfernten Dokumenten zu extrahieren. Der Analyseprozess erfolgt intern im System.
Um die RAG-Vorlage anzupassen:
Indem Sie diese erweiterten Funktionen und Techniken nutzen, können Sie Ihre Erfahrungen mit Open WebUI verbessern und sein volles Potenzial für Ihre KI-Projekte ausschöpfen. Experimentieren Sie mit verschiedenen Quellen, Vorlagen und Optionen für die Bildgenerierung, um leistungsstarke und fesselnde KI-Anwendungen zu erstellen.
Open WebUI bietet eine leistungsstarke und benutzerfreundliche Plattform für die Interaktion mit großen Sprachmodellen. Mit seiner intuitiven Web-Benutzeroberfläche, der Unterstützung für mehrere Modelle und anpassbaren Parametern ermöglicht Open WebUI Entwicklern und Forschern eine mühelose Exploration und Nutzung von LLMs.
Indem Sie den Installationsschritten folgen, eine ChatGPT-ähnliche Benutzeroberfläche erstellen und den bereitgestellten Code verwenden, können Sie schnell mit Open WebUI beginnen und hochwertige Textausgaben für verschiedene NLP-Aufgaben generieren. Egal, ob Sie an der Textgenerierung, Fragebeantwortung oder einer anderen sprachbezogenen Anwendung arbeiten, Open WebUI bietet eine flexible und zugängliche Lösung.
Wenn Sie sich tiefer in Open WebUI einarbeiten, zögern Sie nicht, die Dokumentation und die Community-Ressourcen für weitere Anleitungen und fortgeschrittene Anwendungsfälle zu erkunden. Mit Open WebUI stehen Ihnen unzählige Möglichkeiten offen, die Kraft von Sprachmodellen zu nutzen.
