Qwen 1.5 Klein LLM, massiver Erfolg

Was gibt es Neues beim letzten Update Qwen 1.5? K√∂nnen kleine, Open Source LLMs GPT-4 / GPT-3.5 schlagen? Lesen Sie diesen Artikel, um es herauszufinden!ūüĒ•ūüĒ•

Build APIs Faster & Together in Apidog

Qwen 1.5 Klein LLM, massiver Erfolg

Start for free
Inhalte

In der Stille eines schwach beleuchteten Schlafsaals, mit dem sanften Summen meines alten Laptops, begab ich mich auf eine Reise in die Welt des Codierens. Meine Mission war einfach, aber auch herausfordernd: Leben in einen Codecluster einhauchen und ihn in einen Chatbot verwandeln, der zu grundlegenden Gespr√§chen in der Lage ist. Nacht f√ľr Nacht f√ľtterte ich ihn mit Zeilen von Python, um ihn zur Komplexit√§t zu f√ľhren. Und dann, an einem klaren Herbstabend, spuckte er seine erste zusammenh√§ngende Antwort aus. "Hallo, Welt!" sagte er, und in diesem Moment war es, als h√§tte ich eine geheime T√ľr zur Zukunft ge√∂ffnet.

Dieser erste Ausflug in die K√ľnstliche Intelligenz war eine Mischung aus Magie und Logik, ein Zeugnis menschlicher Einfallsreichtum. Seit dieser triumphalen Nacht sind Jahre vergangen und das Feld der K√ľnstlichen Intelligenz hat sich nicht nur weiterentwickelt, sondern ist in Bereiche vorgesto√üen, die fr√ľher nur in der Science-Fiction zu finden waren. Die Ver√∂ffentlichung von Qwen 1.5 durch Alibaba Cloud ist ein Meilenstein in dieser fortlaufenden Saga, ein gl√§nzendes Leuchtfeuer in der KI-Odyssee.

Die Reise von jenen fr√ľhen Tagen bis heute, wo KI Gedichte verfassen, Krankheiten diagnostizieren und sogar Autos fahren kann, ist einfach nur ein Wunder. Qwen 1.5 ist das neueste Kapitel in dieser au√üergew√∂hnlichen Geschichte, eine Erz√§hlung, die sich mit jedem algorithmischen Durchbruch und jeder geschriebenen Codezeile weiter entfaltet.

Artikelzusammenfassung

  • Der Deb√ľt von Qwen 1.5: Alibaba Cloud bringt Qwen 1.5 auf den Markt, ein KI-Modell in sechs verschiedenen Gr√∂√üen, das mit beeindruckenden F√§higkeiten die Dominanz von Modellen wie GPT-3.5 herausfordert.
  • Grenzen der Konversations-KI neu definieren: Mit multilingualer Unterst√ľtzung und der F√§higkeit, lange 32K Token-Kontexte zu verarbeiten, definiert Qwen 1.5 die Grenzen der Konversations-KI neu.
  • Revolution der Open-Access: Qwen 1.5 steht nicht nur auf Augenh√∂he mit Giganten wie GPT-4, sondern ist auch Vorreiter in der Open-Access-Bewegung in der KI und macht fortschrittliche Technologie f√ľr Innovatoren weltweit frei zug√§nglich.
Was ist aber, wenn Sie nur schnelle KI-Apps entwickeln m√ľssen? Und keine Zeit mit dem Stress verschwenden m√∂chten?

Hier ist die L√∂sung: Anakin AI ist der beste No-Code KI-App-Builder auf dem Markt. Erstellen Sie KI-Agenten mit Multi-Modell-Unterst√ľtzung f√ľr Ihre eigenen Daten und Workflows!
Anakin.ai - All-in-One KI-App-Plattform
Generieren Sie Inhalte, Bilder, Videos und Sprache; Erstellen Sie automatisierte Workflows, maßgeschneiderte KI-Apps und intelligente Agenten. Ihre exklusive KI-App-Anpassungswerkstatt.

Wie definiert Qwen 1.5 mehrsprachige KI-Modelle neu?

In der hektischen Bazar der KI-Innovationen f√§llt Qwen 1.5 nicht einfach nur als weiterer Konkurrent auf, sondern als Wegbereiter. Alibaba Cloud hat ein Wunder enth√ľllt, das eine Vielzahl von Parametern jonglieren kann, von einer bescheidenen Gr√∂√üe von 0,5 Milliarden bis hin zu beeindruckenden 72 Milliarden. Diese Vielfalt an Modellgr√∂√üen ist beispiellos und zeigt einen ma√ügeschneiderten Ansatz f√ľr KI, der so nuanciert oder umfangreich sein kann, wie erforderlich.

Die Suite ist in ihren verschiedenen Kapazitäten darauf ausgerichtet, eine breite Palette an Aufgaben zu bewältigen, von den einfachsten bis zu den anspruchsvollsten. Die größte Variante mit 72 Milliarden Parametern ähnelt einem digitalen Universalgelehrten mit einer tiefgreifenden Lern- und Verständnisfähigkeit.

Warum ist die Multilingual-Unterst√ľtzung von Qwen 1.5 bahnbrechend?

Multilingual-Unterst√ľtzung

Qwen 1.5 ist nicht nur ein Polyglott, sondern eine offene T√ľr zum globalen Gespr√§ch. Mit seiner multilingualen Unterst√ľtzung durchbricht es die sprachlichen Grenzen, die Wissen und Fachkenntnisse lange Zeit in verschiedene Kategorien unterteilt haben.

Von Qwen 1.5 unterst√ľtzte Sprachen
Von Qwen 1.5 unterst√ľtzte Sprachen

Dieses Modell l√§dt eine Vielzahl von Stimmen an den Tisch ein und erm√∂glicht einen reichen Kulturmix, der zur KI-Weiterentwicklung beitr√§gt und davon profitiert. Es leitet eine Zukunft ein, in der Sprache kein Hindernis mehr im globalen Dialog der Innovation ist, sondern eine Br√ľcke, die vielf√§ltige Intellekte verbindet.

Effizienz des KI-Modells

Dar√ľber hinaus zeugt die Effizienz von Qwen 1.5 von der nahtlosen Funktionalit√§t von Alibaba Cloud. Indem es problemlos mit der Transformers-Bibliothek integriert ist, stellt Qwen 1.5 sicher, dass Entwickler seine Leistung ohne die √ľblichen Kompatibilit√§tsprobleme oder steilen Lernkurven nutzen k√∂nnen.

Die Gewichts-Optimierungen des Modells - Int-4, GPTQ, AWQ und GGUF - repr√§sentieren den H√∂hepunkt der Modell-Effizienz. Diese sind keine blo√üen Fachbegriffe, sondern Meilensteine in der Suche nach einer schlankeren, agileren KI, die Leistung ohne den √ľppigen Ressourceneinsatz liefern kann, der normalerweise mit solch ausgekl√ľgelten Modellen verbunden ist.

Wie steht Qwen 1.5 im Vergleich zu anderen Modellen da?

Qwen 1.5 vs GPT-4-Turob vs GPT-3.5 vs Mistral Medium vs Mistral 7B...
Qwen 1.5 vs GPT-4-Turob vs GPT-3.5 vs Mistral Medium vs Mistral 7B...

In der wettbewerbsintensiven Arena der K√ľnstlichen Intelligenz, wo Modelle um die Vorherrschaft k√§mpfen, tritt Qwen 1.5 nicht nur an, um zu konkurrieren, sondern um einen neuen Ma√üstab zu setzen. Die Performance-Charts MT-Bench und Alpaca-Eval sind nicht nur Zahlen, sondern erz√§hlen eine Geschichte des Triumphs. In dieser Geschichte steigt Qwen 1.5 in den Ranglisten auf und √ľbertrifft Rivalen in einer breiten Palette von Metriken.

Benchmark-Leistung

Modell MMLU C-Eval GSM8K MATH HumanEval MBPP BBH CMMLU
GPT-4 86.4 69.9 92.0 45.8 67.0 61.8 86.7 71.0
Llama2-7B 46.8 32.5 16.7 3.3 12.8 20.8 38.2 31.8
Llama2-13B 55.0 41.4 29.6 5.0 18.9 30.3 45.6 38.4
Llama2-34B 62.6 - 42.2 6.2 22.6 33.0 44.1 -
Llama2-70B 69.8 50.1 54.4 10.6 23.7 37.7 58.4 53.6
Mistral-7B 64.1 47.4 47.5 11.3 27.4 38.6 56.7 44.7
Mixtral-8x7B 70.6 - 74.4 28.4 40.2 60.7 - -
Qwen1.5-7B 61.0 74.1 62.5 20.3 36.0 37.4 40.2 73.1
Qwen1.5-14B 67.6 78.7 70.1 29.2 37.8 44.0 53.7 77.6
Qwen1.5-72B 77.5 84.1 79.5 34.1 41.5 53.4 65.5 83.5

Hier sind unsere Einschätzungen:

  • Stellen Sie sich einen Zehnkampf vor, bei dem ein einzelner Athlet die Konkurrenz fast in jeder Disziplin √ľbertrifft. Dies ist es, was Qwen 1.5 im digitalen Bereich erreicht. Die Leistungscharts zeigen die F√§higkeiten von Qwen 1.5 auf und setzen es nicht nur neben, sondern oft √ľber andere renommierte Modelle wie GPT-3.5.
  • Es ist ein Beweis f√ľr das Design, das Robustheit mit Vielseitigkeit verbindet und daf√ľr sorgt, dass Qwen 1.5 sowohl bei der Sprachverst√§ndnis, der Generierung als auch dem Denken hervorragende Leistungen erbringt.

Unterst√ľtzung langer Kontexte

Es erfordert eine gewisse Finesse, um eine lange Unterhaltung zu f√ľhren oder ein komplexes Dokument zu analysieren, und hier zeigt Qwen 1.5 sein K√∂nnen.

Modelle Coursera GSM QuALITY TOEFL SFiction Durchschn.
GPT3.5-turbo-16k 63.51 84.00 61.38 78.43 64.84 70.43
Claude1.3-100k 60.03 88.00 73.76 83.64 72.65 75.62
GPT4-32k 75.58 96.00 82.17 84.38 74.99 82.62
Qwen-72B-Chat 58.13 76.00 77.22 86.24 69.53 73.42
Qwen1.5-0.5B-Chat 30.81 6.00 34.16 40.52 49.22 32.14
Qwen1.5-1.8B-Chat 39.24 37.00 42.08 55.76 44.53 43.72
Qwen1.5-4B-Chat 54.94 47.00 57.92 69.15 56.25 57.05
Qwen1.5-7B-Chat 59.74 60.00 64.36 79.18 62.50 65.16
Qwen1.5-14B-Chat 69.04 79.00 74.75 83.64 75.78 76.44
Qwen1.5-72B-Chat 71.95 82.00 77.72 85.50 73.44 78.12

Hier sind die Einschätzungen:

  • Mit der F√§higkeit, bis zu 32.000 Token zu verarbeiten, √§hnelt es einem Meisterweber, der mit den l√§ngsten F√§den umgehen kann, ohne das Muster zu verlieren.
  • Diese F√§higkeit, Koh√§renz √ľber l√§ngere Dialoge oder Erz√§hlungen aufrechtzuerhalten, er√∂ffnet neue M√∂glichkeiten f√ľr Anwendungen, die ein tiefes kontextuelles Bewusstsein erfordern, angefangen bei der Erstellung rechtlicher Dokumente bis hin zur Komposition literarischer Werke.

Und... Open Source!

Der Wert eines KI-Modells besteht nicht nur in seiner Leistung, sondern auch in seiner Reichweite. Indem es eine Open-Access-Philosophie annimmt, reicht Qwen 1.5 weltweit Entwicklern und Forschern die Hand. Diese Zug√§nglichkeit stellt sicher, dass die Fr√ľchte der Arbeit von Alibaba Cloud nicht hinter den Toren propriet√§rer Beschr√§nkungen verschlossen bleiben, sondern frei geteilt werden und Innovationen und Forschung √ľber Grenzen hinweg vorantreiben. Es ist ein Modell, das genauso einem Studenten im Wohnheim einer Universit√§t geh√∂rt wie einem Entwickler in einem Technologiekonzern.

Auf dem gro√üen Schachbrett der KI ist Qwen 1.5 der Schachmatt-Zug von Alibaba Cloud. Es bietet eine beispiellose Leistung, bemerkenswertes Kontextmanagement und universelle Zug√§nglichkeit. Es steht nicht isoliert da, sondern als Teil eines √Ėkosystems, das von der Gemeinschaft gepr√§gt wird und diese pr√§gt.

Schritt-f√ľr-Schritt-Anleitung zur Verwendung von Qwen 1.5

Das Entwickeln mit Qwen 1.5 ist dank der Integration mit der Transformers-Bibliothek von Hugging Face deutlich benutzerfreundlicher geworden. Hier ist eine schrittweise Anleitung, um loszulegen:

Erste Schritte mit Qwen 1.5

Richten Sie Ihre Umgebung ein: Stellen Sie sicher, dass Sie die neueste Version der Hugging Face Transformers installiert haben, die Qwen 1.5 unterst√ľtzt.

Das Modell laden: Verwenden Sie AutoModelForCausalLM.from_pretrained mit dem Modelnamen und device_map auf "auto" gesetzt, um das Modell f√ľr kausales Sprachmodellieren zu laden.

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", device_map="auto")

Mit Qwen 1.5 chatten: Bereiten Sie Ihre Eingabe vor und verwenden Sie den Tokenizer, um eine Chat-Vorlage anzuwenden. Generieren Sie dann eine Antwort mit dem Modell.

from transformers import AutoModelForCausalLM, AutoTokenizer
# ... (Initialisierungscode hier)

# Generieren und Dekodieren der Antwort
# ... (Generierungs- und Dekodierungscode hier)

Erweiterte Gewichtungen nutzen: F√ľr Szenarien mit geringen Ressourcen oder Bereitstellungen k√∂nnen AWQ- und GPTQ-Modelle einfach geladen werden, indem Sie sie mit ihren entsprechenden Modellnamen verwenden.

Bereitstellen mit Inferenz-Frameworks: Integrieren Sie Qwen 1.5 mit beliebten Frameworks wie vLLM und SGLang f√ľr eine einfache Bereitstellung.

python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen1.5-7B-Chat

Lokale Ausf√ľhrung: F√ľr die lokale Ausf√ľhrung verwenden Sie die bereitgestellte Llama.cpp-Unterst√ľtzung oder die GGUF-quantisierten Modelle aus dem Hugging Face Model Hub.

Erstellen Sie eine Web-Demo: Richten Sie eine lokale Web-Demo √ľber die Text generation web UI f√ľr interaktive Erlebnisse ein.

Fortgeschrittene Entwickler und Anwendungen:

F√ľr fortgeschrittene Entwicklung: Wenn Sie komplexere Aufgaben wie Post-Training durchf√ľhren m√∂chten, unterst√ľtzt Qwen 1.5 den Hugging Face Trainer und Peft. Frameworks wie LLaMA-Factory und Axolotl erleichtern auch das √ľberwachte Feinabstimmen und die Ausrichtungstechniken.

Anwendungen im Kontext: Qwen 1.5 ist vielseitig genug, um in verschiedenen Anwendungen verwendet zu werden. OpenAI-API kompatible APIs und lokale Modelle k√∂nnen f√ľr die Integration mit Frameworks wie LlamaIndex, LangChain und CrewAI erstellt werden.

Beispiel: Verwendung von vLLM f√ľr Bereitstellung

# Starten Sie den API-Server unter Verwendung von vLLM
python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen1.5-7B-Chat

# Verwenden Sie curl, um mit Ihrem Modell zu interagieren
curl http://localhost: 8000/v1/chat/completions \
    -H "Content-Type: Anwendung/json" \
    -d '{
        "Modell": "Qwen/Qwen1.5-7B-Chat",
        "Nachrichten": [
            {"Rolle": "System", "Inhalt": "Du bist ein hilfreicher Assistent."},
¬†¬†¬†¬†¬†¬†¬†¬†¬†¬†¬†¬†{"Rolle": "Benutzer", "Inhalt": "Sag mir etwas √ľber gro√üe Sprachmodelle."}
        ]
    }'

Lokales Ausf√ľhren von Qwen 1.5 mit Lama.cpp

  • F√ľr eine lokale Ausf√ľhrung wurde Lama.cpp aktualisiert, um Qwen 1.5 zu unterst√ľtzen und es Ihnen zu erm√∂glichen, quantisierte Modelle einfach zu nutzen.
./main -m qwen1.5-7b-chat-q2_k.gguf -n 512 --color -i -cml -f prompts/chat-with-qwen.txt

Qwen 1.5 mit Ollama ausf√ľhren

  • Mit der Unterst√ľtzung von Ollama kann das Ausf√ľhren des Modells so einfach wie eine einzelne Befehlszeile sein:
ollama run qwen

Erstellen einer Web-Demo

  • Um eine webbasierte Demonstration zu erstellen, wird die Text Generation Web UI empfohlen, da sie einfach zu bedienen und interaktiv ist.

Training mit Qwen 1.5

  • F√ľr diejenigen, die Modelle trainieren oder feinabstimmen m√∂chten, ist Qwen 1.5 kompatibel mit dem Hugging Face Trainer und Peft, zusammen mit LLaMA-Factory und Axolotl f√ľr fortgeschrittene Trainingstechniken.

Fazit

Qwen 1.5 stellt einen bedeutenden Fortschritt in der F√§higkeit der AI-Community dar, modernste Sprachmodelle zu entwickeln, bereitzustellen und zu integrieren. Mit seiner umfassenden Unterst√ľtzung f√ľr verschiedene Plattformen und Frameworks sowie einem Schwerpunkt auf die Entwicklererfahrung ist Qwen 1.5 bereit, eine neue Welle von Innovation und Anwendung auf dem Gebiet der KI anzusto√üen. Egal, ob Sie Forscher, Entwickler oder ein KI-Enthusiast sind, Qwen 1.5 bietet Ihnen die Tools und F√§higkeiten, um die Grenzen dessen zu erweitern, was mit Sprachmodellen m√∂glich ist.

Was ist aber, wenn Sie nur schnelle KI-Apps entwickeln m√ľssen? Und keine Zeit mit dem Stress verschwenden m√∂chten?

Hier ist die L√∂sung: Anakin AI ist der beste No-Code KI-App-Builder auf dem Markt. Erstellen Sie KI-Agenten mit Multi-Modell-Unterst√ľtzung f√ľr Ihre eigenen Daten und Workflows!

Anakin AI: Der beste No Code AI App Builder