更新: Ollama は、ローカル サポート付きの Llama 3.1 モデルをサポートするようになりました。手順は次のとおりです。
# Llama 3.1 405B をローカルで実行
ollama run llama3.1:405b
# Llama 3.1 70B をローカルで実行
ollama run llama3.1:70b
# Llama 8B をローカルで実行
ollama run llama3.1:8bMetaの最新リリースであるLlama 3.1シリーズは、405Bパラメータモデルが潜在的なゲームチェンジャーとして注目されています。この記事では、Llama 3.1 405Bをローカルで実行する可能性、パフォーマンスベンチマーク、そしてそれに挑戦する勇気を持つためのハードウェア要件について詳しく説明します。
Llama 3.1 405Bは、さまざまなベンチマークで素晴らしい結果を示し、しばしば前任者を上回り、GPT-4oなどの業界リーダーに挑戦します。以下は、主なベンチマークの比較です：
| ベンチマーク | Llama 3.1 405B | GPT-4o |
|---|---|---|
| BoolQ | 0.921 | 0.905 |
| TruthfulQA MC1 | 0.8 | 0.825 |
| Winogrande | 0.867 | 0.822 |
このモデルは、以下の領域で優れた性能を発揮します：
ただし、Llama 3.1 405Bは以下の領域でまだ遅れを取っていることには注意が必要です：
Llama 3.1 405Bをローカルで実行することは非常に要求の厳しいタスクです。以下は、必要な主な仕様です：
一般向けのハードウェアでは、Llama 3.1 405Bをローカルで実行することはほぼ不可能です。企業レベルの機器でも、このモデルを実行することは大きな課題です。
ローカルで実行することはほとんど実用的ではないにもかかわらず、モデルファイルを入手したい場合は、以下のダウンロードリンクを参照してください：
Credits: https://boards.4chan.org/g/thread/101514682#p101516633
405Bモデルが注目を集めていますが、Llama 3.1 70Bバリアントは多くのユーザーにとってより実用的な代替手段を提供します。以下にその理由を示します：
大規模な言語モデルをローカルで実行することを検討している場合は、次の代替手段を考慮してください：
クラウドサービスを介してLlama 3.1 405Bを使用するための価格体系は次のとおりです：
FP8バージョンはわずかに精度が低いですが、多くのアプリケーションにとってより費用効果の高いソリューションです。
Llama 3.1 405Bを実行するには、いくつかの技術的な課題があります：
Llama 3.1 405BはAIの能力の重要な進歩を表していますが、ほとんどのユーザーにとってはローカルでの実行は実現不可能です。70Bと8Bのバリアントは、リソース要件の管理が容易でありながら、印象的なパフォーマンスを提供するより実用的な代替手段です。
AIの分野は急速に進化し続ける中で、モデルの効率性と展開戦略のさらなるイノベーションが期待されます。現時点では、クラウドベースのソリューションが、ローカルハードウェア上で可能な範囲を押し広げ続ける小さなモデルのパワーにアクセスするための最も実用的なオプションとなっています。
