In diesem umfassenden Leitfaden werden wir erkunden, wie Sie das leistungsstarke Llama 3 8b-Sprachmodell lokal mit Ollama ausführen und dann Anakin AI nutzen, um benutzerdefinierte KI-Anwendungen ohne Programmierung zu erstellen.
Ausführen von Llama 3 8b mit Ollama
Ollama ist eine kostenlose und Open-Source-Anwendung, mit der Sie verschiedene große Sprachmodelle (LLMs) wie Llama 3 auf Ihrem lokalen Computer ausführen können, auch bei begrenzten Ressourcen. Es nutzt Leistungsoptimierungen, um das Ausführen von LLMs lokal mit relativ geringen Hardwareanforderungen zu ermöglichen.
Schritt 1: Installieren Sie Ollama
Der erste Schritt besteht darin, Ollama auf Ihrem System zu installieren. Es unterstützt alle gängigen Betriebssysteme, einschließlich Windows, macOS und Linux. Besuchen Sie die Ollama-Website (https://ollama.com/) und laden Sie die entsprechende Version für Ihr System herunter.
Schritt 2: Führen Sie Llama 3 8b aus
Sobald Ollama installiert ist, öffnen Sie Ihr Terminal oder die Eingabeaufforderung und führen Sie den folgenden Befehl aus, um Llama 3 8b zu starten:
ollama run llama3:8b
Dieser Befehl lädt die 8-Milliarden-Parameter-Version von Llama 3 herunter und lädt sie. Warten Sie einige Minuten, während das Modell heruntergeladen und geladen wird, und Sie werden dann mit einer Chat-Aufforderung ähnlich der folgenden präsentiert:
ollama run llama3:8b
>>> Wer war der zweite Präsident der Vereinigten Staaten?
Der zweite Präsident der Vereinigten Staaten war John Adams. Er amtierte von 1797 bis 1801 und folgte George Washington nach und wurde von Thomas Jefferson abgelöst.
>>> Wer war der 30.?
Der 30. Präsident der Vereinigten Staaten war Calvin Coolidge! Er amtierte vom 2. August 1923 bis zum 4. März 1929.
>>> /bye
Sie können nun mit Llama 3 8b interagieren, indem Sie Ihre Abfragen oder Eingabeaufforderungen eingeben und das Modell generiert Antworten basierend auf dem Training.
Schritt 3: Erkunden Sie die Funktionen von Ollama (optional)
Ollama bietet mehrere zusätzliche Funktionen, die Sie erkunden können:
Open WebUI: Open WebUI ist eine erweiterbare, selbstgehostete UI, die vollständig innerhalb von Docker läuft. Es bietet eine benutzerfreundliche Oberfläche zur Interaktion mit Ollama und anderen kompatiblen LLMs von OpenAI. Sie können Open WebUI neben Ollama installieren und ausführen, um ein intuitiveres Erlebnis zu haben.
Ollama API: Ollama bietet eine API, mit der Sie LLMs in Ihre eigenen Projekte integrieren können. Sie können die Ollama API oder die OpenAI-kompatible API verwenden, um Anfragen zu stellen und Antworten vom geladenen LLM zu erhalten.
Benutzerdefinierte Modelldateien: Ollama ermöglicht es Ihnen, benutzerdefinierte Modelldateien mit spezifischen Eingabeaufforderungen, Parametern und Verhaltensweisen zu erstellen. Diese Funktion ermöglicht es Ihnen, das Verhalten des LLMs an Ihre spezifischen Anforderungen anzupassen.
Modellverwaltung: Ollama stellt Befehle zum Abrufen, Hochladen und Verwalten verschiedener LLM-Modelle auf Ihrem lokalen System zur Verfügung, um Ihnen die Flexibilität bei der Auswahl der Modelle zu geben, mit denen Sie arbeiten möchten.
Erstellen von KI-Apps mit Anakin AI
Anakin AI ist eine no-code Plattform, die es Ihnen ermöglicht, maßgeschneiderte KI-Apps ohne Programmierkenntnisse zu erstellen. Sie bietet eine Reihe von vorgefertigten KI-Anwendungen, die Sie an Ihre Bedürfnisse anpassen können, sowie die Möglichkeit, neue Apps von Grund auf zu erstellen.
Schritt 1: Registrieren Sie sich für Anakin AI
Besuchen Sie die Anakin AI-Website (https://www.anakin.ai/) und registrieren Sie sich für ein kostenloses Konto. Nach der Anmeldung haben Sie Zugriff auf Ihren persönlichen Arbeitsbereich.
Schritt 2: Wählen Sie eine vorgefertigte App oder erstellen Sie eine neue
Anakin AI bietet eine Bibliothek mit vorgefertigten KI-Anwendungen, die verschiedene Branchen und Anwendungsfälle abdecken. Wenn Sie beispielsweise YouTube-Video-Scripts generieren möchten, können Sie die vorgefertigte App für diesen Zweck auswählen.
Alternativ können Sie eine neue App erstellen, indem Sie in Ihrem Arbeitsbereich auf die Schaltfläche "App hinzufügen oder erstellen" klicken. Wählen Sie die Option "Schnell-App" und geben Sie Ihrer App einen Namen.
Schritt 3: Passen Sie die App an
Nachdem Sie eine App ausgewählt oder erstellt haben, können Sie diese an Ihre spezifischen Bedürfnisse anpassen. Definieren Sie die Eingabefelder, wie das Thema für das YouTube-Video-Script oder das gewünschte Ausgabeformat. Sie können auch das KI-Modell auswählen, das Sie verwenden möchten, und andere Parameter anpassen.
Erstellen wir beispielsweise eine einfache App, die Blog-Post-Ideen basierend auf einem bestimmten Thema generiert:
- Definieren Sie ein Eingabefeld namens "Thema" als Einzelleinen-Textfeld.
- Fügen Sie einen "AI Text Generator" -Schritt hinzu und erstellen Sie eine Eingabeaufforderung, die den KI-Text anweist, Blog-Post-Ideen basierend auf dem angegebenen Thema zu generieren.
- Stellen Sie die Ausgabe ein, um die Antwort des KI-Systems anzuzeigen.
Schritt 4: Generieren Sie die Ausgabe
Nachdem Sie die App angepasst haben, klicken Sie auf die Schaltfläche "Generieren", um die gewünschte Ausgabe zu generieren. Anakin AI verwendet das ausgewählte KI-Modell und Ihre Eingabeparameter, um den Inhalt zu generieren oder die angegebene Aufgabe auszuführen.
In unserem Beispiel generiert die KI eine Liste von Blog-Post-Ideen basierend auf dem angegebenen Thema.
Schritt 5: Erkunden Sie erweiterte Funktionen (optional)
Anakin AI bietet mehrere erweiterte Funktionen, die Sie erkunden können:
API-Integration: Anakin AI bietet umfangreiche API-Dienste für alle Anwendungen, die Entwicklern und Organisationen ermöglichen, ihre Projekte nahtlos zu integrieren und zu verbessern. Durch die Nutzung dieser APIs erhalten Benutzer die Möglichkeit, die robusten Produktfunktionen von Anakin AI in ihren eigenen Anwendungen einfach zugänglich zu machen.
Um die API zu nutzen, müssen Sie Ihren Plan erweitern, einen API-Zugriffstoken generieren und der bereitgestellten Dokumentation für API-Anfragen folgen. Die API-Integration von Anakin AI ermöglicht es Ihnen, schnell KI-Anwendungen zu entwickeln, die auf Ihre Geschäftsanforderungen zugeschnitten sind, mehrere KI-Modellanbieter unterstützen und zukünftige erweiterte Funktionen nutzen.
Teilen von Apps: Wenn Sie Ihre angepassten KI-Apps nützlich finden, können Sie sie im App Store von Anakin AI veröffentlichen und sie mit anderen über den bereitgestellten Link teilen.
Vorgefertigte Apps: Anakin AI bietet eine Bibliothek mit vorgefertigten KI-Anwendungen, die verschiedene Branchen und Anwendungsfälle abdecken. Diese Apps können entsprechend Ihren spezifischen Bedürfnissen angepasst werden und liefern im Vergleich zum Erstellen einer App von Grund auf verfeinerte Ergebnisse.
Durch die Kombination der Leistungsfähigkeit von Llama 3 8b, das lokal mit Ollama ausgeführt wird, und den No-Code-Fähigkeiten von Anakin AI können Sie eine Vielzahl von Möglichkeiten zur Nutzung von fortschrittlicher natürlicher Sprachverarbeitung in Ihren Projekten freischalten, ohne umfangreiche Programmierkenntnisse oder technisches Fachwissen zu benötigen.
Ausführen von DBRX Instruct mit Ollama
DBRX ist ein offenes, allgemeines Sprachmodell (LLM), das von Databricks entwickelt wurde. Es handelt sich um ein transformer-basiertes Decoder-Modell, das mit next-token prediction trainiert wurde und eine Mixture-of-Experts (MoE) -Architektur mit insgesamt 132 Milliarden Parametern verwendet, von denen bei jeder Eingabe 36 Milliarden Parameter aktiv sind.
Um DBRX Instruct mit Ollama auszuführen, befolgen Sie diese Schritte:
Schritt 1: Installieren Sie Ollama (falls noch nicht installiert)
Wenn Sie Ollama noch nicht installiert haben, befolgen Sie die Anweisungen im vorherigen Abschnitt, um es auf Ihrem System zu installieren.
Schritt 2: Führen Sie DBRX Instruct aus
Sobald Ollama installiert ist, öffnen Sie Ihr Terminal oder die Eingabeaufforderung und führen Sie den folgenden Befehl aus, um DBRX Instruct zu starten:
ollama run dbrx:instruct
Dieser Befehl lädt das DBRX Instruct-Modell herunter und lädt es. Warten Sie einige Minuten, während das Modell heruntergeladen und geladen wird, und Sie werden dann mit einer Chat-Aufforderung ähnlich der folgenden präsentiert:
ollama run dbrx:instruct
>>> Was ist die Hauptstadt von Frankreich?
Die Hauptstadt von Frankreich ist Paris.
>>> Kannst du das Konzept des maschinellen Lernens erklären?
Ja, maschinelles Lernen ist ein Bereich der künstlichen Intelligenz, der die Entwicklung von Algorithmen und statistischen Modellen umfasst, die computergesteuerten Systemen ermöglichen, bestimmte Aufgaben effektiv auszuführen, ohne explizit programmiert zu sein. Anstatt einer Reihe vordefinierter Regeln zu folgen, verwenden maschinelle Lernalgorithmen Daten, um Muster zu erlernen und Entscheidungen oder Vorhersagen zu treffen.
Der Prozess umfasst in der Regel die Bereitstellung des Algorithmus mit einer großen Menge an Trainingsdaten, die analysiert werden, um Muster und Beziehungen zu identifizieren. Basierend auf dieser Analyse erstellt der Algorithmus ein Modell, das dann verwendet werden kann, um Vorhersagen oder Entscheidungen für neue, nicht gesehene Daten zu treffen.
>>> /bye
Sie können nun mit DBRX Instruct interagieren, indem Sie Ihre Abfragen oder Eingabeaufforderungen eingeben und das Modell generiert Antworten basierend auf dem Training.
Schritt 3: Erkunden Sie die Fähigkeiten von DBRX Instruct
DBRX Instruct ist ein leistungsstarkes LLM, das sich in verschiedenen Aufgabenbereichen auszeichnet, darunter:
Frage beantworten: Sie können DBRX Instruct Fragen zu einer Vielzahl von Themen stellen, und es liefert genaue und ausführliche Antworten basierend auf seinen Trainingsdaten.
Textgenerierung: DBRX Instruct kann hochwertige Textinhalte wie Artikel, Geschichten oder Skripte anhand Ihrer Eingabeaufforderungen oder Anweisungen generieren.
Codegenerierung: Als leistungsfähiges Code-Modell kann Ihnen DBRX Instruct bei Programmieraufgaben helfen, indem es Code-Snippets generiert oder Programmierkonzepte erklärt.
Datenanalyse: DBRX Instruct kann Ihnen helfen, Daten zu analysieren und zu interpretieren, indem es Einsichten, Zusammenfassungen und Visualisierungen basierend auf Ihrer Eingabe bereitstellt.
Aufgabenhilfe: Sie können DBRX Instruct als virtuellen Assistenten verwenden, der Ihnen bei verschiedenen Aufgaben wie Recherche, Planung oder Entscheidungsfindung hilft.
Denken Sie daran, dass DBRX Instruct ein allgemeines LLM ist, sodass seine Fähigkeiten nicht auf die oben genannten Beispiele beschränkt sind. Experimentieren Sie gerne mit verschiedenen Eingabeaufforderungen und Aufgaben, um sein volles Potenzial zu entdecken.
Erstellen von KI-Apps mit der API-Integration von Anakin AI
Anakin AI bietet umfangreiche API-Dienste für alle Anwendungen, die Entwicklern und Organisationen ermöglichen, ihre Projekte nahtlos zu integrieren und zu verbessern. Durch die Nutzung dieser APIs erhalten Benutzer die Möglichkeit, die robusten Produktfunktionen von Anakin AI in ihren eigenen Anwendungen einfach zugänglich zu machen.
Vorteile der API-Integration
Schnelle Entwicklung: Entwickeln Sie schnell KI-Anwendungen, die auf Ihre Geschäftsanforderungen zugeschnitten sind, indem Sie Anakin AI's intuitive visuelle Oberfläche nutzen, mit Echtzeitimplementierung auf allen Clients.
Flexibilität des Modells: Unterstützung mehrerer KI-Modellanbieter, die Ihnen die Flexibilität geben, bei Bedarf zu wechseln.
Effizienter Zugriff: Vorkonfigurierter Zugriff auf die wesentlichen Funktionen des KI-Modells, um den Entwicklungsaufwand zu reduzieren.
Zukunftssicher: Bleiben Sie mit kommenden erweiterten Funktionen über die API auf dem neuesten Stand.
Wie man die API verwendet
Schritt 1: Upgraden Sie Ihren Plan und überprüfen Sie Ihr Kontoguthaben
Der API-Dienst von Anakin AI ist derzeit ausschließlich Abonnenten vorbehalten. Beim Verwenden des KI-Modells über API-Aufrufe werden Guthaben von Ihrem Kontostand verbraucht.
Um Ihren Abonnementstatus zu überprüfen oder Ihren Plan zu aktualisieren, gehen Sie zum Anakin AI Web App. Klicken Sie auf das Avatar-Symbol in der unteren linken Ecke, um auf die Seite "Upgrade" zuzugreifen. Stellen Sie sicher, dass Ihr aktuelles Konto über ausreichendes Guthaben verfügt.
Schritt 2: Testen Sie Ihre App
Um die App zu testen, wählen Sie die App aus und klicken Sie auf die Schaltfläche "Generieren". Bestätigen Sie, dass sie ordnungsgemäß ausgeführt wird und die erwartete Ausgabe generiert, bevor Sie fortfahren.
Schritt 3: API-Dokumentation anzeigen und API-Zugriffstoken verwalten
Besuchen Sie als Nächstes den Abschnitt "Integration" oben in der App. In diesem Abschnitt können Sie auf "Details anzeigen" klicken, um die von Anakin AI bereitgestellte API-Dokumentation anzuzeigen, den Zugriff auf API-Tokens zu verwalten und die App-ID anzuzeigen.
Schritt 4: Generieren Sie Ihr API-Zugriffstoken
Klicken Sie auf die Schaltfläche "Token verwalten", um Ihr API-Zugriffstoken zu verwalten, und wählen Sie "Neues Token", um Ihr API-Zugriffstoken zu generieren.
Konfigurieren Sie das Token wie folgt und klicken Sie auf "Speichern und Token generieren". Kopieren und speichern Sie anschließend das API-Zugriffstoken sicher.
HINWEIS: Das generierte API-Zugriffstoken wird nur einmal angezeigt. Stellen Sie sicher, dass Sie es sofort kopieren und sicher speichern. Eine bewährte Methode besteht darin, API-Schlüssel in Klartext über Backend-Aufrufe anstelle von direktem Frontend-Code oder Anfragen bereitzustellen. Dadurch wird verhindert, dass Ihr App missbraucht oder angegriffen wird.
Sie können mehrere API-Zugriffstoken für eine App erstellen, um sie unter verschiedenen Benutzern oder Entwicklern zu verteilen. Dadurch können Benutzer der API auf die KI-Möglichkeiten zugreifen, die vom App-Entwickler bereitgestellt werden, während die darunter liegende Eingabeaufforderungsentwicklung und andere Toolfunktionen intakt bleiben.
API-Beispiel für Schnell-App
Eine Schnell-App ermöglicht es Ihnen, hochwertige Textinhalte wie Blog-Posts, Übersetzungen und andere kreative Inhalte zu generieren. Durch Aufruf der "Run a Quick App"-API wird der vom Benutzer eingegebene Inhalt gesendet und das generierte Textergebnis abgerufen.
Die für das Generieren des Textes verwendeten Modellparameter und Vorlagenvorlage hängen von den Eingabeeinstellungen in der Anakin AI-App -> Verwalten -> Design-Seite ab.
Dokumentation und Beispiele für API-Anforderungen für die App finden Sie unter App -> Integration -> API List -> Details anzeigen.
Hier ist ein Beispiel für einen API-Aufruf zur Erstellung von Informationen zur Textvervollständigung:
curl --location --request POST 'https://api.anakin.ai/v1/quickapps/{{appId}}/runs' \
--header 'Authorization: Bearer ANAKINAI_API_ACCESS_TOKEN' \
--header 'X-Anakin-Api-Version: 2024-05-06' \
--header 'Content-Type: application/json' \
--data-raw '{
"inputs": {
"Product/Service": "Cloud Service",
"Features": "Reliability and performance.",
"Advantages": "Efficiency",
"Framework": "Attention-Interest-Desire-Action"
},
"stream": true
}'
TIPP: Ersetzen Sie die Variable {{appId}} durch die gewünschte appId und ersetzen Sie ANAKINAI_API_ACCESS_TOKEN durch das von Ihnen generierte API-Zugriffstoken in Schritt 4.
Weitere Informationen zur Quick App-API finden Sie in der API-Referenz.
API-Beispiel für Chatbot-App
Eine Chatbot-App ermöglicht es Ihnen, Chatbots zu erstellen, die mit Benutzern in einem natürlichen Frage-und-Antwort-Format interagieren. Um ein Gespräch zu beginnen, rufen Sie die "Conversation with Chatbot"-API auf und geben Sie den zurückgegebenen Parameternamen fortlaufend ein, um das Gespräch aufrechtzuerhalten.
Sie finden die API-Dokumentation und Beispiele für Anfragen für die App unter App -> Integration -> API List -> Details anzeigen.
Hier ist ein Beispiel für einen API-Aufruf, um Konversationsnachrichten zu senden:
curl --location --request POST 'https://api.anakin.ai/v1/chatbots/{{appId}}/messages' \
--header 'Authorization: Bearer ANAKINAI_API_ACCESS_TOKEN' \
--header 'X-Anakin-Api-Version: 2024-05-06' \
--header 'Content-Type: application/json' \
--data-raw '{
"content": "Wie ist Ihr Name? Bist du der Kluge?",
"stream": true
}'
TIPP: Ersetzen Sie die Variable {{appId}} durch die gewünschte appId und ersetzen Sie ANAKINAI_API_ACCESS_TOKEN durch das von Ihnen in Schritt 4 generierte API-Zugriffstoken.
Weitere Informationen zur Chatbot-API finden Sie in der API-Referenz.
Indem Sie die API-Integration von Anakin AI nutzen, können Sie fortgeschrittene KI-Fähigkeiten nahtlos in Ihre Projekte integrieren, Entwicklungsprozesse rationalisieren und Kosten minimieren, die mit der Verwaltung komplexer Backend-Architekturen und Bereitstellungsprozesse verbunden sind.
In diesem umfassenden Leitfaden haben wir erkundet, wie Sie das leistungsstarke Llama 3 8b- und DBRX Instruct-Sprachmodelle lokal mit Ollama ausführen können und wie Sie benutzerdefinierte KI-Anwendungen ohne Programmierkenntnisse mit der No-Code-Plattform von Anakin AI erstellen können. Wir haben auch die API-Integration von Anakin AI behandelt, die Entwicklern und Organisationen ermöglicht, ihre Projekte nahtlos und verbessert mit den robusten Produktfunktionen von Anakin AI zu integrieren.
Durch die Kombination der Fähigkeiten dieser Tools können Sie eine Vielzahl von Möglichkeiten nutzen, um fortgeschrittene natürliche Sprachverarbeitungs- und KI-Technologien in Ihren Projekten einzusetzen und Arbeitsabläufe zu optimieren und die Produktivität zu steigern. Ob Sie Entwickler, Geschäftsinhaber oder Einzelbenutzer sind, dieser Leitfaden bietet Ihnen das Wissen und die Ressourcen, um die Leistungsfähigkeit der KI zu nutzen und in einer sich ständig weiterentwickelnden technologischen Landschaft einen Schritt voraus zu bleiben.
