Llama 3 ist das neueste große Sprachmodell (LLM), entwickelt von Meta, und ist in den Größen 8 Milliarden und 70 Milliarden Parametern verfügbar. Es stellt einen bedeutenden Fortschritt in den Fähigkeiten der natürlichen Sprachverarbeitung dar und übertrifft viele Open-Source-Chatmodelle bei gängigen Benchmark-Tests. In diesem umfassenden Leitfaden werden wir untersuchen, wie man Llama 3 8b lokal mit Ollama ausführt und KI-Anwendungen mit Anakin AI erstellt, einer No-Code-Plattform zur Erstellung individueller KI-Anwendungen.
Ollama ist eine kostenlose und Open-Source-Anwendung, mit der Sie verschiedene große Sprachmodelle, einschließlich Llama 3, auf Ihrem lokalen Computer ausführen können, auch mit begrenzten Ressourcen. Es nutzt die Leistungsvorteile von llama.cpp, einer Open-Source-Bibliothek, die entwickelt wurde, um die Ausführung von LLMs lokal mit relativ geringen Hardwareanforderungen zu ermöglichen.
Der erste Schritt besteht darin, Ollama auf Ihrem System zu installieren. Es unterstützt alle gängigen Betriebssysteme, einschließlich Windows (in der Vorschau), macOS und Linux. Besuchen Sie die Ollama-Website (https://ollama.com/) und laden Sie die entsprechende Version für Ihre Plattform herunter.
Nach der Installation von Ollama öffnen Sie Ihr Terminal oder die Eingabeaufforderung und führen Sie den folgenden Befehl aus, um Llama 3 8b zu starten:
ollama run llama3:8b
Dieser Befehl lädt und lädt die 8 Milliarden Parameter Version von Llama 3 herunter. Warten Sie ein paar Minuten, während das Modell heruntergeladen und geladen wird, und dann wird Ihnen eine Chat-Aufforderung ähnlich dieser angezeigt:
ollama run llama3:8b
>>> Wer war der zweite Präsident der Vereinigten Staaten?
Der zweite Präsident der Vereinigten Staaten war John Adams. Er diente von 1797 bis 1801 und folgte George Washington nach und wurde von Thomas Jefferson abgelöst.
>>> Wer war der Dreißigste?
Der dreißigste Präsident der Vereinigten Staaten war Calvin Coolidge! Er diente vom 2. August 1923 bis zum 4. März 1929.
>>> /Tschüss
Sie können nun mit Llama 3 8b interagieren, indem Sie Ihre Anfragen oder Vorgaben eingeben, und das Modell generiert Antworten basierend auf seinem Training.
Ollama bietet zusätzliche Funktionen, die Sie erkunden können:
Open WebUI: Open WebUI ist eine erweiterbare, selbstgehostete Benutzeroberfläche, die vollständig in Docker ausgeführt wird. Es bietet eine benutzerfreundliche Oberfläche zur Interaktion mit Ollama und anderen OpenAI-kompatiblen LLMs. Sie können Open WebUI zusammen mit Ollama installieren und ausführen, um ein intuitiveres Erlebnis zu ermöglichen.
Ollama API: Ollama bietet eine API, mit der Sie LLMs in Ihre eigenen Projekte integrieren können. Sie können die Ollama API oder die OpenAI-kompatible API verwenden, um Anfragen zu stellen und Antworten von dem geladenen LLM zu erhalten.
Benutzerdefinierte Modelldateien: Ollama ermöglicht es Ihnen, benutzerdefinierte Modelldateien mit spezifischen Vorgaben, Parametern und Verhaltensweisen zu erstellen. Diese Funktion ermöglicht es Ihnen, das Verhalten des LLM an Ihre spezifischen Anforderungen anzupassen.
Modellverwaltung: Ollama bietet Befehle zum Abrufen, Veröffentlichen und Verwalten verschiedener LLM-Modelle auf Ihrem lokalen System. Dies bietet Ihnen Flexibilität bei der Auswahl der Modelle, mit denen Sie arbeiten möchten.
Anakin AI ist eine No-Code-Plattform, mit der Sie maßgeschneiderte KI-Anwendungen erstellen können, ohne über Programmierkenntnisse zu verfügen. Es bietet eine Reihe von vorgefertigten KI-Anwendungen, die Sie an Ihre Bedürfnisse anpassen können, sowie die Möglichkeit, neue Apps von Grund auf zu erstellen.
Besuchen Sie die Anakin AI-Website (https://www.anakin.ai/) und melden Sie sich für ein kostenloses Konto an. Nach dem Einloggen haben Sie Zugriff auf Ihren persönlichen Arbeitsbereich.
Anakin AI bietet eine Bibliothek mit vorgefertigten KI-Anwendungen für verschiedene Branchen und Anwendungsfälle. Wenn Sie beispielsweise YouTube-Kurzscripts generieren möchten, können Sie die vorgefertigte App für diesen Zweck auswählen.
Alternativ können Sie eine neue App erstellen, indem Sie auf die Schaltfläche "App hinzufügen oder erstellen" in Ihrem Arbeitsbereich klicken. Wählen Sie die Option "Schnell-App" aus und geben Sie Ihrer App einen Namen.
Nachdem Sie eine App ausgewählt oder erstellt haben, können Sie diese basierend auf Ihren spezifischen Anforderungen anpassen. Definieren Sie die Eingabefelder, wie z.B. das Thema für das YouTube-Kurzskript oder das gewünschte Ausgabeformat. Sie können auch das KI-Modell auswählen, das Sie verwenden möchten, und andere Parameter anpassen.
Nachdem Sie die App angepasst haben, klicken Sie auf die Schaltfläche "Generieren", um die gewünschte Ausgabe zu generieren. Anakin AI verwendet das ausgewählte KI-Modell und Ihre Eingabeparameter, um den Inhalt zu generieren oder die angegebene Aufgabe auszuführen.
Anakin AI bietet mehrere erweiterte Funktionen, die Sie erkunden können:
API-Integration: Anakin AI bietet umfassende API-Dienste für alle Anwendungen und ermöglicht Entwicklern und Organisationen, ihre Projekte mit den APIs von Anakin AI nahtlos zu integrieren und zu erweitern. Durch die Nutzung dieser APIs können Benutzer flexibel auf die robusten Produktmerkmale von Anakin AI in ihren eigenen Anwendungen zugreifen.
Um die API zu nutzen, müssen Sie Ihren Plan aktualisieren, einen API-Zugriffsschlüssel generieren und die bereitgestellte Dokumentation befolgen, um API-Anfragen zu stellen. Die API-Integration von Anakin AI ermöglicht es Ihnen, KI-Anwendungen schnell zu entwickeln, die auf Ihre Geschäftsanforderungen zugeschnitten sind, mehrere KI-Modellanbieter unterstützen und mit kommenden erweiterten Funktionen Schritt halten.
Hier ist ein Beispiel, wie die API verwendet wird, um eine Textvervollständigung zu erstellen:
curl --location --request POST 'https://api.anakin.ai/v1/quickapps/{{appId}}/runs' \
--header 'Authorization: Bearer ANAKINAI_API_ACCESS_TOKEN' \
--header 'X-Anakin-Api-Version: 2024-05-06' \
--header 'Content-Type: application/json' \
--data-raw '{
"inputs": {
"Produkt/Dienstleistung": "Cloud-Service",
"Funktionen": "Zuverlässigkeit und Leistungsfähigkeit.",
"Vorteile": "Effizienz",
"Rahmen": "Attention-Interest-Desire-Action"
},
"stream": true
}'
Ersetzen Sie {{appId}} durch Ihre App-ID und ANAKINAI_API_ACCESS_TOKEN durch Ihren API-Zugriffsschlüssel.
Teilen von Apps: Wenn Sie Ihre angepassten KI-Apps nützlich finden, können Sie sie im Anakin AI App Store veröffentlichen und über den bereitgestellten Link mit anderen teilen.
Vorgefertigte Apps: Anakin AI bietet eine Bibliothek mit vorgefertigten KI-Anwendungen für verschiedene Branchen und Anwendungsfälle. Diese Apps können an Ihre spezifischen Anforderungen angepasst werden und liefern im Vergleich zur Erstellung von Grund auf verfeinerte Ergebnisse.
Durch die Kombination der lokalen LLM-Fähigkeiten von Ollama mit der No-Code-App-Building-Plattform von Anakin AI und der API-Integration können Sie eine Vielzahl von Möglichkeiten nutzen, um fortschrittliche natürliche Sprachverarbeitung in Ihren Projekten einzusetzen, ohne umfangreiche Programmierkenntnisse oder technisches Fachwissen zu benötigen.
Anakin AIs Workflow-Funktion ermöglicht es Ihnen, leistungsstarke Workflows für KI-Anwendungen mit mehreren Schritten zu erstellen, ohne Programmierkenntnisse zu haben. Hier sind drei Beispiele für Workflow-Typ KI-Anwendungen, die Sie erstellen können:
Diese App kombiniert die Leistung von ChatGPT mit Echtzeitergebnissen von Internetsuchen und liefert Ihnen aktuelle und genaue Informationen.
Wenn Sie die App testen, führt sie eine Google-Suche basierend auf Ihrer Eingabe durch, verarbeitet die Ergebnisse mithilfe des KI-Modells und liefert eine detaillierte, gut formatierte Antwort.
Mit dieser App können Sie Echtzeit-Wechselkurse über eine Integration in eine Währungs-API überprüfen.
Wenn Sie die App testen, ruft sie den aktuellen Wechselkurs über die API ab und liefert eine maßgeschneiderte Antwort basierend auf Ihrer Eingabe und den Anweisungen des KI-Modells.
Diese App generiert mit Hilfe einfacher Textbeschreibungen beeindruckende, KI-generierte Bilder, indem sie das komplexe Prompt Engineering im Hintergrund handhabt.
Wenn Sie die App testen, wird anhand Ihrer Textbeschreibung ein qualitativ hochwertiges Bild generiert, dank der prompt Engineering-Fähigkeiten der KI.
Diese Beispiele zeigen die Vielseitigkeit der Workflow-Funktion von Anakin AI und ermöglichen es Ihnen, leistungsstarke KI-Anwendungen mit mehreren Schritten zu erstellen, die auf Ihre spezifischen Anforderungen zugeschnitten sind, ohne dass dabei Programmierkenntnisse erforderlich sind.
Durch die Kombination der lokalen LLM-Funktionen von Ollama mit der No-Code-App-Building-Plattform von Anakin AI und der API-Integration können Sie eine Vielzahl von Möglichkeiten nutzen, um fortschrittliche KI-Technologien in Ihren Projekten einzusetzen, Arbeitsabläufe zu optimieren und die Produktivität zu steigern.
