DBRX 132B instruct: GPT-4に挑戦するオープンソースのLLM

DBRXとは? DBRX 132B instructとは?

DBRXはDatabricksが開発した最先端のオープンLLMで、他のオープンモデルを凌駕し、さまざまなベンチマークでトップクラスのクローズドモデルにも匹敵する性能を発揮しており、強力な生成型AIをより多くの企業や研究者に提供しています。

データ・AI大手のDatabricksが、新たにオープンソースの大規模言語モデル(LLM)「DBRX」を発表しました。DBRXには以下の2つのバージョンがあります:

• DBRX Base: 一般的な文章完成モデルとして事前学習された基本モデル
• DBRX Instruct: 命令に従うタスクのために微調整されたベースモデルのバージョン

DBRXが際立つのは、さまざまな標準ベンチマークで優れた性能を発揮し、他の確立されたオープンLLMを凌駕し、最高クラスのクローズドモデルにも匹敵することです。この新しいモデルの詳細を見ていきましょう。

DBRX 132B instructのアーキテクチャとトレーニング

DBRXはTransformer ベースのデコーダー専用アーキテクチャに、専門家の混合(MoE)設定を採用しています。主な特徴は以下の通りです:

• 総パラメータ数132億
• 任意の入力に対して有効なパラメータ数は36億
• 16人の専門家を使用し、1トークンあたり4人を活性化
• 12兆トークンのデータセットで学習
• 最大コンテキスト長32,000トークン

MoEアーキテクチャにより、DBRXは同サイズの密集型モデルと比べて高品質な出力を高速に生成できます。ゲートされた線形ユニット、グループ化されたクエリアテンション、回転位置エンコーディングなどの手法によりさらにパフォーマンスが向上しています。

Databricksは3072台のNVIDIA H100 GPUを使って3か月間かけてDBRXをトレーニングしました。彼らのトレーニングパイプラインは以前のモデルと比べて約4倍の効率性を実現しており、顧客自身のデータでカスタムモデルをトレーニングする際に役立ちます。

DBRX 132B instructのベンチマークと比較

DBRXは以下の主要ベンチマークで最先端の性能を発揮しています:

1. MMLU(Massive Multitask Language Understanding): DBRXはテストした他のオープンモデルすべてを上回る
2. HumanEval(コード生成): CodeLLaMA-70Bなどの専用コードモデルと肩を並べる
3. GSM8K(数学の言語問題): 他のオープンモデルを凌駕し、トップクラスのクローズドモデルにも匹敵

他のオープンLLMと比べると、DBRXはLLaMA2-70B、Mixtral、Grok-1などを大半のベンチマークで上回っています。また、LLaMA2-70Bのような132Bの非MoEモデルと比べて2~3倍速い応答生成を実現しています。

さらに印象的なのは、DBRXがトップクラスのクローズドモデルにも匹敵することです:

• GPT-3.5を言語理解、プログラミング、数学のベンチマークで凌駕
• Gemini 1.0 ProやMistral Mediumの多くの分野で競争力がある

これにより、DBRXは最先端のクローズドモデルに対抗できる強力なオープンソースの選択肢となっています。

DBRXの始め方

DBRXを使い始める方法は以下のようなものがあります:

1. Hugging Face: Hugging FaceハブからオフザシェルフのDBRX Instructモデルをダウンロード
2. Databricks API: Databricksの顧客向けに、カスタムモデルの事前トレーニングや既存のチェックポイントの継続トレーニングが利用可能
3. Databricks Playground: Databricksのチャットインターフェースデモでモデルを試験的に使用

DBRXは特に検索支援型生成(RAG)タスクに優れており、SQLの生成などのアプリケーションに最適です。

DBRX 132B instruct: DatabricksのベストオープンソースLLM

DatabricksはライセンスをLLaMAと同様の非商用ライセンスで、GitHubとHugging FaceでDBRXを無料公開しています。このオープンアプローチにより参入障壁が下がり、企業が高額な費用をかけずにGenAIアプリケーションを開発できるようになります。

DBRXの公開は、DatabricksのオープンLLMへの継続的な投資の重要な節目です。彼らがモデルの改善と利用の容易化を続けていけば、さらに印象的な機能が登場することが期待できます。

結論

DBRXがオープンLLMのパフォーマンスの新基準を打ち立てたことで、生成型AIの力を活用しようとする企業や研究者にとって、明るい未来が待っています。この技術が急速に進歩し続ける中で、DBRXのようなモデルが最先端の言語AIへのアクセスをる上で重要な役割を果たすことでしょう。