Microsoft hat kürzlich WizardLM 2 vorgestellt, eine bahnbrechende Reihe von großen Sprachmodellen, die die Grenzen der künstlichen Intelligenz erweitern. Diese Modelle zeigen erhebliche Verbesserungen bei komplexen Chats, mehrsprachigem Verständnis, Schlussfolgerungen und Agentenfähigkeiten und übertrumpfen ihren Vorgänger WizardLM und andere führende Open-Source-Modelle.
WizardLM 2 bietet drei bemerkenswerte Modelle, die jeweils auf spezifische Anforderungen und Leistungsvoraussetzungen zugeschnitten sind:
WizardLM-2 8x22B: Als Microsofts fortschrittlichstes Modell demonstriert WizardLM-2 8x22B eine hochleistungsfähige Leistung im Vergleich zu führenden proprietären Modellen wie GPT-4. Es übertrifft kontinuierlich alle bestehenden Open-Source-Modelle auf dem neuesten Stand der Technik und ist daher die beste Wahl für komplexe Aufgaben.
WizardLM-2 70B: Dieses Modell erreicht erstklassige Schlussfolgerungsfähigkeiten und ist die erste Wahl in der Kategorie der 70B-Parametergröße. Es bietet eine ausgezeichnete Balance zwischen Leistung und Ressourcenanforderungen.
WizardLM-2 7B: Trotz seiner kleineren Größe ist WizardLM-2 7B unglaublich schnell und erzielt vergleichbare Leistungen wie Open-Source-Modelle, die zehnmal so groß sind. Es ist eine ideale Wahl für Anwendungen, die Effizienz erfordern, ohne dabei die Qualität zu beeinträchtigen.
Um die Leistung von WizardLM 2 zu bewerten, führte Microsoft umfangreiche automatische und menschliche Bewertungen anhand verschiedener Benchmarks und realer Szenarien durch. Die Ergebnisse sprechen für sich:
| Benchmark | WizardLM-2 8x22B | WizardLM-2 70B | WizardLM-2 7B |
|---|---|---|---|
| MT-Bench | Hoch konkurrenzfähig mit GPT-4 und Claude 3 | Bestes offenes Modell seiner Größenkategorie | Bestes offenes Modell seiner Größenkategorie |
| Menschliche Bewertung bei komplexen Anweisungen | Leistung leicht unter GPT-4, übertrifft deutlich Command R Plus | Übertrifft GPT4-0613, Mistral-Large und Qwen1.5-72B-Chat | - |
| AlpacaEval | - | - | WizardLM-13B-V1.2 erreicht 89,17%, übertrifft ChatGPT's 86,09% |
| WizardLM Eval | - | - | WizardLM-13B-V1.2 erreicht 101,4% im Vergleich zu ChatGPT's 100% |
Diese beeindruckenden Ergebnisse bestätigen die Effektivität des Evol-Instruct-Trainingsansatzes. Sowohl die automatischen als auch die menschlichen Bewertungen zeigen consistent, dass WizardLM 2 Open-Source-Alternativen wie Alpaca und Vicuna übertrifft, die auf einfacheren, von Menschen erstellten Anweisungsdaten basieren.
Das Geheimnis hinter der herausragenden Leistung von WizardLM 2 liegt in Evol-Instruct, einer revolutionären Trainingsmethodik, die von Microsoft entwickelt wurde.
Evol-Instruct und Instruction&Process Supervised Reinforcement Learning (RLEIF) sind seit ihrer Einführung durch Microsoft zu grundlegenden Technologien für die GenAI-Community geworden. Diese innovativen Trainingsmethoden haben eine entscheidende Rolle bei der Entwicklung der Wizard-Reihe von großen Sprachmodellen gespielt, einschließlich der neuesten Iteration, WizardLM 2.
Evol-Instruct ist ein evolutionärer Ansatz zur Erzeugung hochwertiger Anweisungsdaten für das Training von Sprachmodellen. Durch die Nutzung von LLMs zur iterativen Umformulierung eines anfänglichen Satzes von Anweisungen in immer komplexere Variationen ermöglicht Evol-Instruct die Erzeugung vielfältiger und herausfordernder Trainingsdaten, die für Menschen schwierig manuell zu generieren wären. Diese weiterentwickelten Anweisungsdaten werden dann verwendet, um die Basismodelle feinzustimmen, was zu erheblichen Leistungsverbesserungen führt.
RLEIF ist hingegen ein Verstärkungslernansatz, der Anweisungsqualitätsbelohnungsmodelle (IRM) mit Prozessüberwachungsbelohnungsmodellen (PRM) kombiniert, um bei der Online-Schulung eine präzisere Richtigkeit zu erreichen. Dieser Ansatz ermöglicht den Sprachmodellen, von ihren eigenen erzeugten Antworten zu lernen und ihre Leistung basierend auf dem Feedback der Belohnungsmodelle iterativ zu verbessern.
Kombination aus Evol-Instruct und RLEIF war entscheidend für die Entwicklung von WizardLM 2 und ermöglicht den Modellen, bei einer Vielzahl von Aufgaben und Benchmarks, einschließlich komplexem Chat, mehrsprachigem Verständnis, Schlussfolgerung und Agentenfähigkeiten, Spitzenleistungen zu erbringen. Da sich diese Technologien weiterentwickeln und reifen, wird erwartet, dass sie eine immer wichtigere Rolle bei der Weiterentwicklung großer Sprachmodelle und der GenAI-Community insgesamt spielen.
KI Align AI (AAA) ist ein neuartiger Rahmen, der von Microsoft eingeführt wurde und es mehreren hochmodernen LLMs ermöglicht, sich gegenseitig beizubringen und ihre Leistung zu verbessern. Dieser innovative Ansatz zum Modelltraining nutzt das kollektive Wissen und die Fähigkeiten verschiedener Sprachmodelle, um ihre individuelle Leistung zu verbessern und ihre Ausgaben in Einklang zu bringen.
Der AAA-Rahmen besteht aus zwei Hauptkomponenten:
Co-Teaching: In dieser Phase simulieren WizardLMs und verschiedene lizenzierte proprietäre und Open-Source-Modelle führender Technologie einen Chat, beurteilen die Qualität, geben Verbesserungsvorschläge und schließen Fähigkeitslücken. Durch die Interaktion untereinander und das Feedback lernen die Modelle voneinander und verbessern ihre eigenen Fähigkeiten.
Self-Teaching: WizardLM kann neue Entwicklungs-Trainingsdaten für das überwachte Lernen und Präferenzdaten für das Verstärkungslernen durch aktives Lernen aus sich selbst heraus generieren. Dieser Selbstlernmechanismus ermöglicht es dem Modell, seine Leistung kontinuierlich zu verbessern, indem es von seinen eigenen generierten Daten und Rückmeldungen lernt.
Der AAA-Rahmen hat wesentlich zur außergewöhnlichen Leistung von WizardLM 2 beigetragen. Indem die Modelle das Lernen voneinander und von sich selbst ermöglichen, hat AAA dazu beigetragen, die Kluft zwischen Open-Source- und proprietären Sprachmodellen zu überbrücken, was zu einer Modellfamilie geführt hat, die bei einer Vielzahl von Aufgaben und Benchmarks ihre Mitbewerber kontinuierlich übertrifft.
Da sich das Gebiet der künstlichen Intelligenz weiterentwickelt, werden Rahmen wie AAA voraussichtlich eine immer wichtigere Rolle bei der Entwicklung fortschrittlicher Sprachmodelle spielen. Durch die Förderung von Zusammenarbeit und Wissensaustausch zwischen verschiedenen Modellen hat AAA das Potenzial, den Fortschritt der GenAI-Community zu beschleunigen und die Grenzen des Möglichen bei großen Sprachmodellen zu erweitern.
Progressive Learning und Data Pre-Processing sind zwei wesentliche Bestandteile des vollständig KI-gesteuerten synthetischen Trainingsystems von Microsoft für WizardLM 2. Diese Techniken haben entscheidend dazu beigetragen, den Trainingsprozess zu optimieren und überlegene Leistung mit weniger Daten im Vergleich zu herkömmlichen einmaligen Trainingsansätzen zu erzielen.
Im Paradigma des progressiven Lernens werden zur Schulung der Modelle verschiedene Datenpartitionen schrittweise verwendet. Jede Stufe umfasst drei wesentliche Schritte:
Evol Lab: Die Datenscheibe wird in das Evol Lab eingespeist, in dem Evol-Instruct und Evol-Answer angewendet werden, um vielfältigere und komplexere [Anweisung, Antwort]-Paare zu generieren. Dieser Prozess hilft dabei, die Trainingsdaten zu bereichern und den Modellen eine breitere Palette von Szenarien zu bieten.
KI Align AI (AAA): Die generierten Daten werden dann durch den AAA-Rahmen geleitet, in dem mehrere hochmoderne LLMs am Co-Teaching und Self-Teaching teilnehmen, um die Leistung des jeweils anderen zu verbessern und ihre Ausgaben in Einklang zu bringen.
Lernen: Schließlich durchlaufen die Modelle das überwachte Lernen, Stage-DPO (eine progressive Offline-Verstärkungslernmethode) und RLEIF, um ihre Leistung in jeder Phase zu optimieren.
Data Pre-Processing ist ein weiterer wesentlicher Aspekt des Trainingsystems. Es umfasst drei Hauptschritte:
Data Analysis: Diese Pipeline wird verwendet, um die Verteilung unterschiedlicher Attribute für neue Quelldaten zu erhalten und damit ein erstes Verständnis der Daten zu ermöglichen und die anschließenden Schritte zu leiten.
Weighted Sampling: Basierend auf experimenteller Erfahrung werden die Gewichte verschiedener Attribute in den Trainingsdaten angepasst, um eine bessere Übereinstimmung mit der optimalen Verteilung für das Training zu erreichen, die von der natürlichen Verteilung menschlicher Chat-Korpora abweichen kann.
Progressives Lernen: Wie oben beschrieben, wird die vorverarbeitete Daten dann in der Pipeline des progressiven Lernens verwendet, um die Modelle schrittweise zu trainieren.
Die Kombination aus progressivem Lernen und Datenvorverarbeitung hat Microsoft ermöglicht, signifikante Leistungsverbesserungen in WizardLM 2 zu erzielen, während weniger Daten im Vergleich zu traditionellen Trainingsansätzen verwendet wurden. Durch sorgfältiges Kuratieren und Optimieren der Trainingsdaten und Nutzung der Leistungsfähigkeit von KI zur Anleitung des Lernprozesses haben diese Techniken einen neuen Standard für die Entwicklung großer Sprachmodelle in der GenAI-Community gesetzt.
Microsofts Einsatz für die Weiterentwicklung des Bereichs der künstlichen Intelligenz geht über die Entwicklung von hochmodernen Modellen hinaus. Durch die Open-Source-Bereitstellung von WizardLM 2 und die Weitergabe der Forschung dahinter möchte Microsoft die KI-Community befähigen, auf dieser Arbeit aufzubauen und weitere Innovationen voranzutreiben.
Sie können die WizardLM2 Hugging Face Card hier besuchen.
Die Modellgewichte von WizardLM 2 8x22B und 7B stehen unter der Apache 2.0-Lizenz auf Hugging Face zur Verfügung, wobei das größere Modell WizardLM-2 70B in den nächsten Tagen veröffentlicht wird. Um optimale Ausgabequalität zu gewährleisten, sollten die Benutzer beim Interagieren mit den Modellen streng dem von Microsoft bereitgestellten Vicuna-Stil für Mehrfachkonversationen folgen.
Neben den Modellgewichten hat Microsoft mehrere Live-Demos von WizardLM 2 zur Verfügung gestellt, und weitere sind in Planung. Diese Demos bieten eine zugängliche Möglichkeit für Forscher, Entwickler und Enthusiasten, mit den Modellen zu interagieren und sie zu bewerten und fördern Zusammenarbeit und Experimentation innerhalb der KI-Community.
WizardLM 2 ist ein Beweis für Microsofts unerschütterlichen Einsatz für die Weiterentwicklung des Bereichs der künstlichen Intelligenz. Durch die Kombination von hochmoderner Forschung, innovativen Trainingsmethoden und einem Bekenntnis zur Open-Source-Zusammenarbeit hat Microsoft eine Reihe großer Sprachmodelle geschaffen, die dazu bestimmt sind, die Art und Weise, wie wir komplexe Aufgaben und Interaktionen angehen, zu revolutionieren.
Während Forscher, Entwickler und Enthusiasten die Fähigkeiten von WizardLM 2 erkunden und auf seinen Grundlagen aufbauen, können wir uns auf eine Zukunft freuen, in der KI-gesteuerte Systeme nahtlos in unser Leben integriert werden und unsere Fähigkeiten verbessern und neue Möglichkeiten für Wachstum und Entdeckung eröffnen. Die bevorstehende Reise ist voller Aufregung und Potenzial, und WizardLM 2 ist erst der Anfang.
