In diesem umfassenden Leitfaden werden wir untersuchen, wie man das leistungsstarke Llama 3 70b-Sprachmodell lokal mit Ollama ausführt und wie man benutzerdefinierte KI-Apps ohne Codierung mit Anakin AI erstellt. Wir werden den Installationsprozess, das Ausführen von Llama 3 mit Ollama, das Erstellen von KI-Apps mit Anakin AI's No-Code-Plattform und die Integration von KI-Funktionen in Ihre Projekte mithilfe der APIs von Anakin AI abdecken. Am Ende dieses Leitfadens werden Sie das Wissen und die Fähigkeiten haben, die Möglichkeiten dieser modernen KI-Werkzeuge zu nutzen.
Ollama ist eine kostenlose und Open-Source-Anwendung, mit der Sie verschiedene große Sprachmodelle, einschließlich Llama 3, auf Ihrem eigenen Computer ausführen können, auch mit begrenzten Ressourcen. Es nutzt die Leistungsvorteile von llama.cpp, einer Open-Source-Bibliothek, die entwickelt wurde, um LLMs lokal mit relativ geringen Hardwareanforderungen auszuführen.
Der erste Schritt besteht darin, Ollama zu installieren. Es unterstützt alle gängigen Betriebssysteme: Windows, macOS und Linux. Befolgen Sie die Anweisungen auf der offiziellen Ollama-Website (https://ollama.com/), um die entsprechende Version für Ihr System herunterzuladen und zu installieren.
ollama im Terminal starten.ollama im Terminal ausführen.install.sh mit sudo-Rechten aus: sudo ./install.shollama im Terminal eingeben.Nachdem Ollama installiert ist, öffnen Sie Ihr Terminal oder die Eingabeaufforderung und führen Sie den folgenden Befehl aus:
ollama run llama3:70b
Mit diesem Befehl wird das Llama 3 70b-Modell heruntergeladen und geladen, das ein großes Sprachmodell mit 70 Milliarden Parametern ist. Je nach Internetverbindung und Systemspezifikationen kann dieser Vorgang einige Zeit dauern.
Nach Abschluss des Downloads startet Ollama eine Chat-Oberfläche, in der Sie mit dem Llama 3 70b-Modell interagieren können. Sie können Fragen stellen, Eingaben geben oder Gespräche führen, und das Modell generiert Antworten basierend auf seinem Training.
Wenn Sie aufgrund begrenzter Systemressourcen eine langsame Leistung erleben oder Probleme bei der Ausführung des 70b-Modells auftreten, können Sie Folgendes ausprobieren:
Verwenden Sie ein kleineres Modell: Ollama bietet auch Zugriff auf die 8b-Version von Llama 3, die weniger Parameter hat und möglicherweise effizienter auf Systemen mit geringerer Leistung läuft. Um das 8b-Modell auszuführen, verwenden Sie den Befehl ollama run llama3:8b.
Verwenden Sie eine geringere Quantisierung: Ollama bietet verschiedene Quantisierungsstufen für die Modelle an, die sich auf deren Größe und Leistung auswirken können. Sie können versuchen, eine geringere Quantisierungsstufe mit dem Befehl ollama run llama3:70b-instruct-q2_K auszuführen.
Verbessern Sie Ihre Hardware: Wenn Sie umfangreich mit großen Sprachmodellen wie Llama 3 70b arbeiten möchten, erwägen Sie ein Upgrade des RAMs und der GPU Ihres Systems, um den Rechenaufwand effizienter bewältigen zu können.
Anakin AI ist eine No-Code-Plattform, mit der Sie benutzerdefinierte KI-Apps erstellen können, ohne eine einzige Zeile Code schreiben zu müssen. Sie bietet eine benutzerfreundliche Oberfläche und integriert verschiedene KI-Modelle, darunter GPT-3, GPT-4, Claude, Stable Diffusion und mehr.
Um mit Anakin AI zu beginnen, besuchen Sie deren Website (https://www.anakin.ai/) und erstellen Sie ein kostenloses Konto. Nach der Anmeldung haben Sie Zugriff auf Ihren persönlichen Arbeitsbereich.
Eine der einfachsten Möglichkeiten, eine KI-App mit Anakin AI zu erstellen, besteht darin, die Funktion "Schnell-App" zu verwenden. So erstellen Sie eine Schnell-App:
Beispiel: Erstellen wir eine Schnell-App, die einen Blogbeitrag zu einem bestimmten Thema generiert:
Anakin AI ermöglicht es Ihnen, Ihre KI-App weiter anzupassen, indem Sie zusätzliche Eingabefelder hinzufügen, die Parameter des KI-Modells anpassen und das Ausgabeformat ändern. Experimentieren Sie mit verschiedenen Einstellungen, um die beste Konfiguration für Ihre Bedürfnisse zu finden.
Zum Beispiel können Sie dem Blog-Post-Generator zusätzliche Eingabefelder wie "Wörteranzahl" oder "Ton" hinzufügen und die Parameter des KI-Modells anpassen, um Inhalte zu generieren, die Ihren Vorlieben entsprechen.
Zusätzlich zum Erstellen eigener Apps bietet Anakin AI eine Sammlung von vorgefertigten KI-Apps, die von Entwicklern und anderen Benutzern erstellt wurden. Sie können diese Apps direkt durchsuchen und verwenden oder sie klonen und nach Ihren Anforderungen anpassen.
Um eine vorgefertigte App zu verwenden, befolgen Sie diese Schritte:
Sobald Sie eine benutzerdefinierte KI-App erstellt haben, mit der Sie zufrieden sind, können Sie sie über den Anakin AI App Store veröffentlichen und anderen Benutzern zugänglich machen. Dadurch können andere Benutzer Ihre App entdecken und nutzen, und Sie können Guthaben erhalten, wenn sie sich anmelden und Ihre App nutzen.
Um Ihre App zu teilen, befolgen Sie diese Schritte:
Sie können dann den Link zu Ihrer veröffentlichten App teilen, und andere Benutzer können sie direkt verwenden oder sie in ihrem Arbeitsbereich klonen, um sie weiter anzupassen.
Anakin AI bietet umfassende API-Services für alle Anwendungen und ermöglicht Entwicklern und Organisationen, ihre Projekte nahtlos mit Anakin AI-APIs zu integrieren und zu verbessern.
Anakin AI's API-Dienst ist derzeit exklusiv für Abonnenten verfügbar. Beim Verwenden des KI-Modells über API-Aufrufe werden Guthaben von Ihrem Kontostand abgebucht.
Um Ihren Abonnementstatus zu überprüfen oder Ihren Plan zu aktualisieren, navigieren Sie zur Anakin AI Web App. Klicken Sie auf den Avatar in der linken unteren Ecke, um die Upgrade-Seite aufzurufen. Stellen Sie bitte sicher, dass Ihr aktuelles Konto über ausreichendes Guthaben verfügt.
Um die App zu testen, wählen Sie die App aus und klicken Sie auf die Schaltfläche "Generieren". Bestätigen Sie, dass sie ordnungsgemäß funktioniert und die erwartete Ausgabe liefert, bevor Sie fortfahren.
Besuchen Sie als Nächstes den Bereich Integration in der App oben. In diesem Bereich können Sie auf "Details anzeigen" klicken, um die von Anakin AI bereitgestellte API-Dokumentation anzuzeigen, API-Zugriffstoken zu verwalten und die App-ID anzuzeigen.
Klicken Sie auf die Schaltfläche "Token verwalten", um Ihr API-Zugriffstoken zu verwalten, und wählen Sie "Neues Token" aus, um Ihr API-Zugriffstoken zu generieren.
Konfigurieren Sie die folgenden Token-Einstellungen, klicken Sie auf "Speichern und Token generieren" und kopieren Sie das API-Zugriffstoken sicher.
HINWEIS: Das generierte API-Zugriffstoken wird nur einmal angezeigt. Stellen Sie sicher, dass Sie es sofort kopieren und sicher speichern. Eine bewährte Praxis besteht darin, API-Schlüssel im Klartext über Backend-Aufrufe freizulegen, anstatt sie direkt im Frontend-Code oder in Anfragen zu verwenden. Dies hilft, Missbrauch oder Angriffe auf Ihre App zu verhindern.
Sie können mehrere API-Zugriffstoken für eine App erstellen, um sie unter verschiedenen Benutzern oder Entwicklern zu verteilen. Dadurch können Benutzer der API auf die von der App bereitgestellten KI-Funktionen zugreifen, während die zugrunde liegende Eingabeaufforderungstechnik und andere Toolfunktionen intakt bleiben.
Eine Schnell-App ermöglicht es Ihnen, hochwertige Textinhalte wie Blog-Beiträge, Übersetzungen und andere kreative Inhalte zu generieren. Durch Aufruf der Run a Quick App API wird der Benutzerinhalt gesendet und das generierte Textergebnis erhalten.
Die für die Textgenerierung verwendeten Modellparameter und Eingabeaufforderungsvorlagen hängen von den Eingabeeinstellungen in der Anakin AI App -> Verwalten -> Design-Seite ab.
Die API-Dokumentation und Beispielanfragen für die App finden Sie in App -> Integration -> API List -> Details anzeigen.
Hier ist ein Beispiel für einen API-Aufruf, um Informationen zur Textvervollständigung zu erstellen:
TIPP: Bitte denken Sie daran, die Variable {{appId}} durch die gewünschte App-ID zu ersetzen und ANAKINAI_API_ACCESS_TOKEN durch das generierte API-Zugriffstoken in Schritt 4 zu ersetzen.
curl --location --request POST 'https://api.anakin.ai/v1/quickapps/{{appId}}/runs' \
--header 'Authorization: Bearer ANAKINAI_API_ACCESS_TOKEN' \
--header 'X-Anakin-Api-Version: 2024-05-06' \
--header 'Content-Type: application/json' \
--data-raw '{
"inputs": {
"Produkt/Service": "Cloud-Service",
"Funktionen": "Zuverlässigkeit und Leistung.",
"Vorteile": "Effizienz",
"Rahmen": "Attention-Interest-Desire-Action"
},
"stream": true
}'
Überprüfen Sie weitere Details zur Quick-App-API in der API-Referenz.
Eine Chatbot-App ermöglicht es Ihnen, Chatbots zu erstellen, die in einem natürlichen Frage-Antwort-Format mit Benutzern interagieren. Um ein Gespräch zu beginnen, rufen Sie die Conversation with Chatbot API auf und geben Sie den zurückgegebenen Parametername weiterhin ein, um das Gespräch aufrechtzuerhalten.
Die API-Dokumentation und Beispielanfragen für die App finden Sie in App -> Integration -> API List -> Details anzeigen.
Hier ist ein Beispiel für einen API-Aufruf, um Unterhaltungsnachrichten zu senden:
TIPP: Bitte denken Sie daran, die Variable {{appId}} durch die gewünschte App-ID zu ersetzen und ANAKINAI_API_ACCESS_TOKEN durch das generierte API-Zugriffstoken in Schritt 4 zu ersetzen.
curl --location --request POST 'https://api.anakin.ai/v1/chatbots/{{appId}}/messages' \
--header 'Authorization: Bearer ANAKINAI_API_ACCESS_TOKEN' \
--header 'X-Anakin-Api-Version: 2024-05-06' \
--header 'Content-Type: application/json' \
--data-raw '{
"content": "Wie ist dein Name? Bist du der Schlaue?",
"stream": true
}'
In diesem umfassenden Leitfaden haben wir besprochen, wie man das leistungsstarke Llama 3 70b-Sprachmodell lokal mit Ollama ausführt und wie man benutzerdefinierte KI-Apps ohne Codierung mit Anakin AI erstellt. Durch den Einsatz dieser Werkzeuge können Sie die Möglichkeiten moderner KI-Technologien nutzen und sie in Ihre Projekte oder Workflows integrieren. Ob Sie ein Entwickler, ein Geschäftsprofi oder ein KI-Enthusiast sind, Ollama und Anakin AI bieten zugängliche und benutzerfreundliche Lösungen, um das Potenzial von KI freizuschalten.
+
