Update: Ollama unterstützt jetzt Llama 3.1-Modelle mit lokalem Support. So geht's:
# Llama 3.1 405B lokal ausführen
ollama run llama3.1:405b
# Llama 3.1 70B lokal ausführen
ollama run llama3.1:70b
# Llama 8B lokal ausführen
ollama run llama3.1:8bDie kürzliche Veröffentlichung der Llama 3.1-Serie von Meta hat in der KI-Gemeinschaft für Aufregung gesorgt, wobei das Modell mit 405B Parametern als potenzieller Game-Changer hervorsticht. Dieser Artikel geht auf die Machbarkeit der lokalen Ausführung von Llama 3.1 405B, Leistungsbenchmarks und die Hardwareanforderungen für diejenigen ein, die es wagen, es zu versuchen.
Llama 3.1 405B hat bei verschiedenen Benchmarks beeindruckende Ergebnisse erzielt und übertrifft oft seine Vorgänger und stellt sogar führende Unternehmen wie GPT-4o in Frage. Hier ist ein Vergleich der wichtigsten Benchmarks:
| Benchmark | Llama 3.1 405B | GPT-4o |
|---|---|---|
| BoolQ | 0.921 | 0.905 |
| TruthfulQA MC1 | 0.8 | 0.825 |
| Winogrande | 0.867 | 0.822 |
Das Modell überzeugt in Bereichen wie:
Allerdings ist zu beachten, dass Llama 3.1 405B in einigen Bereichen hinterherhinkt:
Die lokale Ausführung von Llama 3.1 405B ist eine äußerst anspruchsvolle Aufgabe. Hier sind die wesentlichen Spezifikationen, die Sie benötigen würden:
Es ist nahezu unmöglich, Llama 3.1 405B auf Hardware für den Consumer-Bereich lokal auszuführen. Selbst mit Enterprise-Ausrüstung ist die Ausführung dieses Modells eine erhebliche Herausforderung.
Für diejenigen, die trotz der Unpraktikabilität der lokalen Ausführung die Modelldateien erhalten möchten, hier sind die Download-Links:
Credits: https://boards.4chan.org/g/thread/101514682#p101516633
Während das 405B-Modell Aufmerksamkeit erregt, bietet die 70B-Variante von Llama 3.1 eine praktischere Alternative für viele Benutzer. Hier ist der Grund:
Für diejenigen, die große Sprachmodelle lokal ausführen möchten, sollten diese Alternativen in Betracht gezogen werden:
Die Preisstruktur für die Verwendung von Llama 3.1 405B über Cloud-Dienste wird voraussichtlich wie folgt aussehen:
Die FP8-Version bietet trotz geringerer Präzision eine kostengünstigere Lösung für viele Anwendungen.
Die Ausführung von Llama 3.1 405B birgt mehrere technische Herausforderungen:
Obwohl Llama 3.1 405B eine bedeutende Weiterentwicklung der KI-Fähigkeiten darstellt, bleibt die lokale Ausführung für die meisten Benutzer unerreichbar. Die Varianten 70B und 8B bieten praktischere Alternativen für die lokale Bereitstellung und bieten eine beeindruckende Leistung bei einem überschaubaren Ressourcenbedarf.
Da sich das Feld der KI weiterhin rapide entwickelt, können wir weitere Innovationen bei der Modelleffizienz und Bereitstellungsstrategien erwarten. Vorläufig bleiben cloud-basierte Lösungen die vielversprechendste Option, um die volle Leistungsfähigkeit von Llama 3.1 405B zu nutzen, während kleinere Modelle weiterhin die Grenzen des Möglichen auf lokaler Hardware erweitern.
