複雑なことを説明しようとしても、言葉だけでは全容を捉えることはできません。LLAMA3のような言語モデルは、その問題を解決するために設計されています。そして、このMetaの最新の提供はまったくゲームチェンジャーです。
Metaは、最新のLlama 3シリーズをリリースすることによって再びAIの世界を揺るがしました。これは今までで最も強力なオープンソースの大規模モデルと称されています。具体的には、Metaは2つの異なるスケールのモデル、8Bと70Bのオープンソース化を行いました。
しかし、これはあくまで前菜であり、メインコースはまだ来ていません。今後の数ヶ月間、Metaは、マルチモーダル機能、多言語対話、より長いコンテキストウィンドウを備えた一連の新しいモデルを展開していく予定です。その中には、Claude 3 Jumboに対抗する400Bパラメータを超える重量級の競技者も含まれています。
Metaは、Llama 3シリーズのリリースにより、再びAIの世界を揺るがしました。これは今までで最も強力なオープンソースの大規模モデルと称されています。具体的には、Metaは2つの異なるスケールのモデル、8Bと70Bのオープンソース化を行いました。
しかし、これはあくまで前菜であり、メインコースはまだ来ていません。今後の数ヶ月間、Metaは、マルチモーダル機能、多言語対話、より長いコンテキストウィンドウを備えた一連の新しいモデルを展開していく予定です。その中には、Claude 3 Jumboに対抗する400Bパラメータを超える重量級の競技者も含まれています。
Llama 2と比較して、Llama 3は大きな進歩を遂げました。事前学習と微調整の改善により、リリースされた事前学習済みおよび指導チューニングモデルはそれぞれ8Bおよび70Bのパラメータ範囲で最も強力なモデルとなっています。
さらに、微調整プロセスの最適化により、エラーレートが大幅に低下し、モデルの一貫性が向上し、応答の多様性が豊かになりました。ザッカーバーグは以前の公のスピーチで、ユーザーがWhatsAppでコーディングに関する質問をする可能性は低いため、Llama 2でこの領域の最適化は優先されなかったと述べました。しかし、Llama 3では、推論、コード生成、指示の遵守の面でのブレークスルーが実現しており、より柔軟でユーザーフレンドリーなモデルになっています。
LLAMA3の能力を本当に理解するためには、言語モデルの分野で他の有力なモデルと比較することが価値があります。以下をご覧ください：
| モデル | パラメータ | コンテキスト長 | トレーニングデータ |
|---|---|---|---|
| LLAMA3 8B | 80億 | 8Kトークン | 15兆トークン |
| LLAMA3 70B | 700億 | 8Kトークン | 15兆トークン |
70Bモデルはかなり大きく、パフォーマンスも優れていますが、8Bモデルも印象的なパフォーマンスを提供し、計算リソースが限られている場合にはより適しているかもしれません。
さて、LLAMA3をいくつかの有力なモデルと比較してみましょう：
| モデル | 組織 | パラメータ | 主な強み |
|---|---|---|---|
| LLAMA3 70B | Meta | 700億 | 言語理解、翻訳、コード生成、推論 |
| GPT-4 | OpenAI | 1750億 | 一般的な言語タスク、マルチモーダル機能 |
| PaLM | 5400億 | 推論、マルチタスク学習、フューショット学習 | |
| Jurassic-2 | AI21 Labs | 1780億 | 言語理解、生成、タスクの適応 |
LLAMA3はパラメータ数において最も大きなモデルではありませんが、多様なコードが豊富に含まれるデータセットでの集中トレーニングとMetaの高度な事後トレーニング技術により、多くの重要な領域で最先端のパフォーマンスを実現しています。
ベンチマークの結果は、Llama 3 8BがGoogle Gemma 7BおよびMistral 7B Instructをはるかに超えてMMLU、GPQA、およびHumanEvalのようなテストで優れたパフォーマンスを発揮していることを示しています。ザッカーバーグの言葉によれば、最も小さいLlama 3は最大のLlama 2とほぼ同じくらい強力です。
Llama 3 70Bは、トップティアのAIモデルに加わり、Claude 3 Largeを圧倒的に上回り、Gemini 1.5 Proと互角の戦いを繰り広げています。ベンチマークでモデルの性能を正確に評価するために、Metaは1800のプロンプトをカバーする新しい高品質の人間評価データセットを開発しました。
| ユースケース | 説明 |
|---|---|
| アドバイスの求め方 | 推奨事項やガイダンスを求める |
| ブレスト | アイデアや解決策を生成する |
| 分類 | アイテムや概念の分類 |
| クローズドブックQA | 外部情報を使用せずに質問に答える |
| コーディング | コードの作成またはコードの説明 |
| クリエイティブライティング | オリジナルの文章を作成する |
| 抽出 | テキストから関連情報を抽出する |
| 役割演技 | パーソナやキャラクターを採用する |
| オープンブックQA | 提供された情報を使用して質問に答える |
| 推論 | 論理と分析の適用 |
| 書き換え | テキストの言い換えや再構成 |
| 要約 | 情報を簡潔な要約にまとめる |
過学習を回避するために、Metaの研究チームはこの評価セットへのアクセスを禁止しました。Claude Sonnet、Mistral Medium、およびGPT-3.5との対比で、Meta Llama 70Bは「圧倒的な勝者」となりました。
以下は、Llama 3のさまざまなベンチマークでの印象的なパフォーマンスをまとめた表です：
| タスク | ベンチマーク | Llama 3のスコア | 注釈 |
|---|---|---|---|
| 言語理解＆生成 | GLUE | 92.5 | 最先端 |
| SuperGLUE | 91.3 | 最先端 | |
| SQuAD 2.0 | 94.7 F1 | 最先端 | |
| RACE | 94.2 正答率 | 最先端 | |
| 翻訳 | WMT'14 En-De | 35.2 BLEU | 最先端 |
| WMT'14 En-Fr | 45.6 BLEU | 最先端 | |
| コード生成＆理解 | HumanEval | 92.7 pass@1 | 最先端 |
| APPS | 78.9 pass@1 | 最先端 | |
| 推論＆マルチステップタスク | MATH | 96.2 正答率 | 最先端 |
| GSM8K | 72.1 正答率 | 最先端 |
この表は、GLUE、SuperGLUE、SQuAD、RACE、WMT、HumanEval、APPS、MATH、GSM8KなどのベンチマークでLlama 3の優れたパフォーマンスを示しています。これらの領域で他のモデルに比べて優れていることを示しています。
素晴らしいですね？LLAMA3は、言語理解、翻訳、コード生成、推論タスクなど、さまざまな言語タスクを優れたパフォーマンスでこなすことで、新たな基準を設定しています。まるで世界クラスの専門家のチームが指先で課題に取り組む準備ができています。
Metaの公式な紹介によると、Llama 3は比較的標準的な純デコーダーTransformerアーキテクチャを採用しています。Llama 2と比較して、Llama 3にはいくつかの主要な改良点が組み込まれています：
量と品質の両面において、次世代大規模モデルの能力を引き出すためにはトレーニングデータが重要です。Meta Llama 3は最も強力なモデルを目指しており、事前トレーニングデータには公開ソースから収集された150兆トークン以上のデータが使用されています。これはLlama 2に使用されたデータセットの7倍であり、そのうちコードデータは4倍含まれています。
実世界の多言語アプリケーションを考慮すると、Llama 3の事前トレーニングデータの5%以上が高品質な非英語データであり、30以上の言語にわたります。ただし、Metaはこれらの言語でのパフォーマンスは英語に比べてわずかに劣ると認識しています。
高品質のトレーニングデータを確保するために、研究チームはヒューリスティックフィルタ、NSFWスクリーナ、意味に基づく除重複方法、およびテキスト分類器を使用して事前にデータの品質を予測しました。特に、前のLlamaモデルが高品質なデータを識別するのに驚くほどに優れていることがわかったため、Llama 2を使用してLlama 3のテキスト品質分類器のトレーニングデータを生成し、実際に「AIがAIをトレーニングする」ということを実現しました。
トレーニングの効率性の向上に加え、Llama 3ではトレーニング効率が驚異的な飛躍を遂げました。Metaは、最大のLlama 3モデルのトレーニングには、データ並列処理、モデル並列処理、パイプライン並列処理を組み合わせました。16KのGPUで同時にトレーニングすることで、各GPUは400 TFLOPS以上の計算利用率を達成しました。研究チームは2つのカスタム24K GPUクラスタでトレーニングを実行しました。
GPUの稼働時間を最大限に活用するために、研究チームは高度な新しいトレーニングスタックを開発し、自動エラー検出、処理、およびメンテナンスを行うことができるようにしました。さらに、Metaはハードウェアの信頼性を向上させ、サイレントデータの破損検出メカニズムを開発し、チェックポイントとロールバックのオーバーヘッドを削減するための新しいスケーラブルなストレージシステムを開発しました。
これらの改良により、トレーニングの効果的な時間は95%以上に達し、Llama 3のトレーニング効率が前任者と比較して約3倍向上しました。
Metaの「創造」の結果、Llama 3はMeta AIとシームレスに統合されました。Meta AIは、昨年のMeta Connect 2023イベントでザッカーバーグが公式に発表し、その後、アメリカ、オーストラリア、カナダ、シンガポール、南アフリカなどの地域に展開されました。
以前のインタビューで、ザッカーバーグはLlama 3駆動のMeta AIに自信を持っており、無料で一般の人々が使用できる最も知的なAIアシスタントになると述べています：
「これはもっともAI的なものから、質問をして答えてもらうようなものに移行していくと思います。複雑なタスクを指示することもできて、それをクリアしてくれるようになります。」
興味深いことに、MetaがLlama 3の公式発表前に、MicrosoftのAzure MarketplaceでLlama 3 8B Instruct版が予告なくリストされていました。しかし、このニュースがさらに広まるにつれ、リンクにアクセスしようとするユーザーは「404」のエラーページに遭遇しました。
Llama 3の登場は、ソーシャルプラットフォームX上での新たなディスカッションの波を引き起こしました。Meta AIの最高科学者でありチューリング賞受賞者のYann LeCunは、Llama 3のリリースを喜び、今後数ヶ月間にさらに多くのバージョンがリリースされることを予告しました。さらに、Muskもコメントセクションに登場し、「悪くない」という簡潔なコメントで彼の認識と期待を表明しました。
さて、思っていることはわかります。「これはすごいですが、実際にLLAMA3を使うにはどうすればいいですか？」ということです。心配しないでください。Metaはこの強力な言語モデルを研究者、開発者、ビジネスの方々が探索し、拡張するために利用できるようにしました。
始めるには、Metaの公式リポジトリからLLAMA3モデル（8Bまたは70B）をダウンロードする必要があります。それから、提供された指示に従って必要な環境と依存関係をセットアップする必要があります。
セットアップが完了したら、LLAMA3モデルをPython環境に読み込み、テキストの生成、言語間の翻訳、質問に答えるなど、任意の自然言語処理タスクに適用することができます。LLAMA3はその優れた能力を貸し出す準備ができています。
ただし、特に大きな70Bモデルを実行するには、かなりの計算リソースとGPUアクセラレーションが必要です。しかし、心配しないでください。Metaはスムーズな開始を支援するための詳細なドキュメントと例を提供しています。
将来を展望すると、LLAMA3のような言語モデルが私たちが技術と対話する方法を形作る上で重要な役割を果たすことは明らかです。彼らの人間のような言語を理解し生成する能力により、これらのモデルはバーチャルアシスタントやコンテンツ作成、機械翻訳など、あらゆることを革新する可能性を秘めています。
そして、まだ想像できないような領域で言語モデルがイノベーションを推進する可能性を忘れてはいけません。自然言語処理の理解が進むにつれ、我々はどのような新しいフロンティアを探索できるのか、誰にもわかりません。
ただ一つ確かなことは、LLAMA3のような強力なモデルの存在により、言語AIの未来はこれまで以上に輝いているということです。さあ、皆さん、準備はできましたか？これはまだ始まりに過ぎませんので、しっかりと準備をしてください！
