人工知能の常に進化する領域では、Large Language Models(LLM)が、私たちがテクノロジーと対話する方法を再構築する重要なツールとして登場しています。複雑なデータ分析を簡素化したり、洗練された会話エージェントを可能にしたりすることから、LLMの能力は多岐にわたります。この記事では、オープンソースのLLMの中でも最も有望なものをいくつか紹介し、その強みやベンチマークのパフォーマンスについて洞察を提供します。
Large Language Models(LLM)とは何ですか?
人工知能の最近の進歩の中心には、Large Language Modelsがあります。これらは、広範なデータセットで訓練され、人間の言語を理解、解釈、生成するための洗練されたアルゴリズムです。これらのモデルは、言語のニュアンス、文脈、さらには感情まで把握し、自動テキスト生成から複雑な問題解決までのタスクに非常に柔軟に対応することができます。
LLMは本当に大きいのでしょうか? これらのモデルのサイズは、通常、それらが含むパラメータの数で示され、より微妙で正確な応答を処理および生成する能力に直接関連しています。この能力は、自然言語処理(NLP)において画期的な変化をもたらし、マシンとユーザー間のより人間らしい対話を実現しています。
AIにおけるオープンソースの台頭
オープンソースの運動は、AI技術の民主化に重要な役割を果たしています。LLMをより広範なユーザーに提供することで、オープンソースプロジェクトはイノベーション、共同作業、そして迅速な開発を促進しています。このオープンなアプローチにより、AI技術の進歩が加速されるだけでなく、世界中の開発者や研究者が共有の知識やリソースに貢献し、恩恵を受けるコミュニティが形成されています。
オープンソースのLLMの利点
- アクセシビリティ: オープンソースのLLMは、開発者、研究者、そして趣味の人によりアクセスしやすくなっています。このアクセシビリティにより、多様な応用や迅速な実験が可能となります。
- 透明性: オープンな性質により、これらのモデルの構築方法や訓練方法の理解と改善がより容易になります。
- コミュニティ開発: オープンソースモデルはそのコミュニティとともに成長します。さまざまなセクターからの貢献により、より堅牢で多様な倫理的なAIモデルが生まれます。
- コスト効果: オープンソースモデルは、特に個人や小規模な組織にとって、プロプライエタリモデルに対する費用対効果の高い選択肢となります。
オンラインで利用できる30以上のオープンソースLLM
1. Mixtral 8x7B Instruct
- 説明: Mixtral 8x7Bは、Mistral AIによって開発された最先端のLarge Language Model(LLM)で、Sparse Mixture of Expertsアーキテクチャを特徴としています。このモデルは、指示に従う、要求を完了する、クリエイティブなテキスト形式を生成するために設計されています。Llama 2 70Bに比べてベンチマークでのパフォーマンスを上回るようにファインチューニングされており、助けになるアシスタントとしての役割を果たすことができます。モデルはファインチューニングして高いパフォーマンスを実現することが容易であり、正確でクリエイティブな言語生成を必要とするさまざまな自然言語処理のタスクに対して、柔軟で強力なツールとなります。
- 利点: Mixtral 8x7Bモデルには、指示に従う能力、要求を完了する能力、クリエイティブなテキスト形式を生成する能力など、さまざまな利点があります。ベンチマーク全般で高いパフォーマンスを発揮するSparse Mixture of Expertsアーキテクチャも、モデルの柔軟性とファインチューニングの容易さに寄与しています。モデルは、正確で創造的な言語生成を必要とするタスクにおいて価値のあるリソースとなります。
- ベンチマーク: Mixtral 8x7Bモデルはさまざまなベンチマークで評価され、指示に従う能力、要求を完了する能力、クリエイティブなテキスト形式を生成する能力を示しています。モデルは、多くのベンチマークで他のモデルを上回るパフォーマンスを発揮する能力で認識されています。モデルのリリースブログ記事には、パフォーマンスと機能の詳細が記載されており、業界の中で主要なLLMとして位置付けられています。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/F0ur1F0oa1WFpKa1.png)
2. Dolphin 2.5 Mixtral 8x7B
- 説明: Dolphin 2.5 Mixtral 8x7Bは、Eric Hartfordによって開発された高度なLarge Language Model(LLM)で、Mixtral 8x7Bアーキテクチャを基にしています。このモデルは、プログラミングの熟練度と自由な性格を持つことで知られています。モデルは、指示に従う、要求を完了する、クリエイティブなテキスト形式を生成するために設計されており、そのトレーニングはConvaiによってスポンサードされています。ベースモデルは32kコンテキストであり、16kでファインチューニングされています。Dolphin 2.5 Mixtral 8x7Bは、プログラミングの熟練度と従順さに優れており、さまざまな自然言語処理のタスクにおいて貴重なリソースとなります。
- 利点: Dolphin 2.5 Mixtral 8x7Bモデルには、プログラミングの熟練度、従順さ、そして自由な性格といういくつかの利点があります。これらの特徴は、正確で詳細な言語生成を必要とするタスクにおいて頼りになる選択肢となります。モデルのファインチューニングとトレーニングプロセスは、さまざまな自然言語処理のベンチマークにおける高品質なパフォーマンスに寄与しています。
- ベンチマーク: Dolphin 2.5 Mixtral 8x7Bのパフォーマンスはさまざまなベンチマークで評価され、指示に従う能力、要求を完了する能力、クリエイティブなテキスト形式を生成する能力を示しています。このモデルは特定のベンチマークで他のモデルを上回るパフォーマンスと認識されています。その自由さとプログラミングの熟練度は、AI言語モデルのフィールドにおける重要な進歩として、さまざまな自然言語処理のアプリケーションの新たな基準を提供します。
![](https://assets.anakin.ai/app/app-icon/custom/20231224/qaFS1HC1NIY4uGl8.png)
3.
Mistral-Medium
- Description: Mistral-MediumはMistral AIが開発した大規模な言語モデル(LLM)で、12 billionのアクティブなパラメータを持つ疎な混合エキスパートアーキテクチャを特徴としています。32,000トークン(約24,000単語)のコンテキストウィンドウをサポートし、推論、コード、JSON、チャットアプリケーションの能力で知られています。このモデルはMistral AIのフラッグシップモデルであり、クローズドソースのモデルとなっています。
- Strengths: その利点には、推論、コード、JSON、チャットアプリケーションの能力や大きなコンテキストウィンドウのサポート、クローズドソースのフラッグシップのステータスなどがあります。ただし、特定のベンチマークにおいて他のモデルと比較してパフォーマンスがそれほど強くないというコメントもあります。
- Benchmark: 推論においては優れた性能を発揮し、入力1 millionトークンあたり2.5€、出力1 millionトークンあたり7.5€という価格設定です。Mistral-Mediumはさまざまなベンチマークで評価されており、一部のフィードバックでは、MMLUベンチマークなど特定の領域でのパフォーマンスが期待を下回っていると指摘されています。
![](https://assets.anakin.ai/app/app-icon/custom/20240116/oU0exxNhtozA6zwI.jpeg)
4. Mistral-Small
- Description: Mistral-SmallはMistral AIのラインナップの一部であり、複数の言語やコーディングタスクを扱うことを目的としています。パフォーマンスと汎用性のバランスを表現しています。
- Strengths: 英語、フランス語、イタリア語、ドイツ語、スペイン語などの複数の言語とコーディングの能力をサポートしています。これにより、多言語と技術的なアプリケーションに対して汎用性のある選択肢となります。
- Benchmark: MT-Benchでは、Mistral-Smallは8.3のスコアを獲得し、さまざまな言語とコーディングの能力を示しています。
![](https://assets.anakin.ai/app/app-icon/custom/20240116/oU0exxNhtozA6zwI.jpeg)
5. Mistral-Tiny
- Description: Mistral-TinyはMistral AIのエンドポイントであり、Mistral 7B Instruct v0.2を提供しています。効率的で予算に優れた英語の言語処理に重点を置いて設計されています。
- Strengths: その主な強みは、コスト効率性にあり、効率的で予算に優れた言語処理ソリューションが必要なアプリケーションに適しています。
- Benchmark: Mistral-TinyはMT-Benchで7.6のスコアを達成し、英語の言語タスクの処理能力を示しています。
![](https://assets.anakin.ai/app/app-icon/custom/20240116/oU0exxNhtozA6zwI.jpeg)
6. Open Hermes 2.5
- Description: OpenHermes-2.5は、人間の言語の理解、生成、相互作用に優れた洗練された言語モデルです。このモデルは、GPT-4によって生成されたコンテンツの重要な部分を含む豊富なデータセットで訓練されています。ChatMLやGGUFのような形式を使用して情報の処理と提示効率を向上させています。OpenHermes-2.5は、役割プレイやタスク実行などさまざまなタスクを処理する能力と、さまざまなベンチマークでのパフォーマンスの向上が特徴です。
- Strengths: OpenHermes-2.5は、創造的で魅力的な文章で特に優れており、指示の従順性やキャラクターの一貫性には一部の不一致があります。リアルタイムの相互作用で優れた性能を発揮し、さまざまな言語タスクに精通しています。このモデルは、TruthfulQAやAGIEvalなどのベンチマークやOrcaやLlama-2 13Bなどの他のモデルと比較して、特に向上が見られています。
- Benchmark Results: さまざまなベンチマークで、OpenHermes-2.5は素晴らしい結果を示しています。たとえば、GPT-4Allベンチマークセットでは、平均スコアは73.12であり、AGI-Evalベンチマークでは平均で43.07%のスコアを獲得しました。BigBench Reasoning Testでは平均スコアが40.96%、TruthfulQAテストでは平均で53.04%のスコアを獲得しました。これらの結果は、多様なAIの課題での強力なパフォーマンスを示し、多くの競合相手を上回っています。
- Technical Specifications: OpenHermes-2.5のトレーニングには、GPT-4によって生成されたコンテンツと高品質なAIデータセットのミックスが使用され、その中にはコードの指示に特化した重要な部分も含まれています。
![](https://assets.anakin.ai/app/app-icon/custom/20231223/Qpy7yKyuckPPB3ah.png)
また、以下の早期バージョンもテストできます:Open Hermes 2
![](https://assets.anakin.ai/app/app-icon/custom/20240110/ysVv1kihzl59X9z1.jpeg)
7. Mistral 7B Instruct
- 説明 :Mistral 7B Instructは、効果的に指示に従い、要求を完了し、クリエイティブなテキスト形式を生成するために設計された言語モデルです。このモデルは、その前身であるMistral 7B Instruct v0.1の改良された指示チューニングバージョンです。
- 強み :Mistral 7B Instructは、特定の指示に基づいて応答を処理および生成する能力に優れており、高い精度とガイドラインへの遵守が必要なタスクに特に有用です。ユーザーの入力により合わせて設計されており、出力の関連性と正確さを向上させています。
- ベンチマークとパフォーマンス :7Bモデルであるにもかかわらず、その指示のチューニングとベンチマークによって、特定のユーザークエリと指示の遵守が必要なタスクでのパフォーマンスが向上していることが示されています。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/RY0ujSnMN4l0wfFP.png)
8. Psyfighter v2 13B
- 説明 :Psyfighter v2 13Bは、プローズと論理能力を向上させるために開発された多目的の言語モデルです。このモデルは、Tiefighter 13Bの前任者を越えるCatV1とLimaRPを組み込んでおり、ストーリーモードでの優れた詳細な高品質の出力を提供します。モデルは、さまざまな他のモデルを統合し、KoboldAIのSkeinアドベンチャーデータセットに基づいてトレーニングされたLoRAを含んでいます。 Psyfighter v2 13Bはその即興能力で知られており、会話や冒険の生成に特に適しています。
- 強み :このモデルの強みは、長く詳細な応答を提供する能力と改良されたプローズおよび論理能力にあります。ストーリーモードを特に含め、高品質な出力を提供するよう設計されており、さまざまな自然言語処理タスクにおいて貴重なツールです。
- ベンチマーク :Psyfighter v2 13Bのパフォーマンスは、さまざまなベンチマークで評価されており、人間のようなテキストの生成およびユーザーコマンドの理解能力を示しています。特定のベンチマークで他のモデルを上回るAIアーキテクチャの進歩として認識されました。
![](https://anakin.ai/ja-jp/favicon.png)
また、以下の早期バージョンもテストできます:Psyfighter-13B こちらをクリックしてPsyfighter 13Bモデルを試してみる
![](https://anakin.ai/ja-jp/favicon.png)
9. Code Llama 34B Instruct
- 説明 : Code Llama 34B は、特にPythonのコード合成および理解のために設計された大規模な言語モデルです。 Code Llamaコレクションの一部であり、7 Billionから34 Billionのパラメータを持つモデルが含まれています。このモデルは、最適化されたアーキテクチャを使用する自己回帰型言語モデルです。指示に従い、安全な展開ができるように微調整されました。
- 強み :Code Llama 34Bモデルの強みは、特にPythonのコンテキストにおいて、コード合成および理解のためのテキストの生成能力にあります。モデルは、コード合成および理解を含むさまざまなメトリックで評価されており、Python関連のタスクの文脈で他のモデルと競争力のあるパフォーマンスを示しています。
- ベンチマーク : Code Llama 34B モデルは、HumanEvalメトリックを使用して評価されており、モデルの能力をテストするために164の手作りプログラミング問題が用意されています。HumanEvalベンチマークテストによれば、Pythonに特化した34Bモデルのスコアは53.7%であり、利用可能なモデルの中で最も高いスコアです。 標準の34Bモデルは48.8%のスコアを獲得しました。これらのスコアは、コード合成と理解の競争力のあるパフォーマンスを示しており、特にPython関連のタスクのコンテキストで優れた結果を示しています。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/0DUAMgS4HtU7pQA2.png)
10. Phind Code Llama 34B
- 説明:Code Llamaとも呼ばれる34B LLMは、Metaが開発したAI言語モデルです。コードの補完やデバッグなどのコーディングタスクをサポートし、Python、C ++、Javaなどさまざまなプログラミング言語をサポートしています。このモデルは、コードおよびコード関連データの500Bトークンでトレーニングされており、3つのサイズ(7B、13B、34B)で提供されており、それぞれ異なる提供とレイテンシの要件を満たしています。34Bモデルは最良の結果を返し、より優れたコーディングサポートが可能であり、小さい7Bおよび13Bモデルは、リアルタイムのコード補完などの低レイテンシを必要とするタスクにはより適しており、高速です。
- 強み:強みの点において、34B LLMはコーディング支援の高いパフォーマンスを発揮し、34Bモデルが最良の結果を返します。また、Llama-2モデルは費用対効果に優れており、GPT-4よりも使用ごとの費用が約30倍低くなっています。オープンソースであり、修正や自己ホストが可能であるため、閉じたモデルと比べてデータプライバシーとセキュリティが向上しています。
- ベンチマーク:ベンチマークでは、34B LLMは競争力のあるパフォーマンスを示しています。たとえば、MMLU(マッシブマルチタスク言語理解)ベンチマークでは、34B LLMはLlama 2-70BやFalcon-180Bなどの大きなLLMを上回り、スコアは68.9のLlama 2に対して76.3です。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/7f7BQxDLZrg7CcH9.png)
11. Goliath 120B
- 説明:Goliath 120-Bは、さまざまな自然言語処理タスクにおける優れたパフォーマンスで知られる大規模言語モデル(LLM)です。翻訳能力、相互言語理解、指示に従った処理、読み取りの裏側、複雑なシナリオの扱い、ユーモアの理解などで高く評価されています。通常のバージョンのGoliath 120-Bでも、その深い理解力と指示に従う能力により、役割演技においても優れた性能を発揮したと報告されています。
- 強み:強みの点では、Goliath 120-Bは役割演技において優れた性能を発揮し、この目的において最も優れたLLMとされています。小さなモデルよりも散文、理解、複雑なシナリオの処理において優れた性能を発揮します。また、指示に従う、読み取りの裏側を理解する、ユーモアを理解するという能力にも強みがあり、これらは小さいモデルにとっては難しいタスクです。
- ベンチマーク:検索結果には具体的なベンチマークのスコアは提供されていませんが、Goliath 120-Bは役割演技や複雑なシナリオの理解において優れたパフォーマンスを発揮し、他のLLMと比べてこれらの点で優れていることを示しています。
![](https://anakin.ai/ja-jp/favicon.png)
12. PPLX 70B
- 説明:PPLX-70Bは、Perplexity AIが開発した大規模言語モデル(LLM)であり、受け取った入力に基づいて人間に似たテキストを処理および生成することを目的としています。 70 billionのパラメータを持つ高度なAIモデルであり、さまざまなプロンプトやクエリに対して理解し応答することができます。このモデルは、さまざまなユースケースとパフォーマンス要件に対応するためにカスタマイズされた、PPLXシリーズの一部です。
- 強み:PPLX-70Bは、さまざまなドメインにわたる詳細で包括的な回答を生成するための言語処理能力を向上させており、理論物理学で印象的なパフォーマンスを発揮し、簡潔で情報に富んだ回答を提供します。さらに、モデルはインターネットから最新の情報を利用しており、現在の事実に関連した回答の共有に関連する制約に対処しています。PPLX-70Bは、Perplexity Labsを通じてアクセスもできるため、モデルとの対話に対して画期的なAPIを提供しています。
- ベンチマーク:PPLX-70BなどのLLMのパフォーマンスは、タスクやドメインにわたる能力を測定する標準化されたベンチマークを使用して評価されます。一般的に参照されるLLMのベンチマークには、BIG(Beyond the Imitation Game)があり、10のカテゴリにわたる200以上のタスクをカバーしています。また、コード生成能力を評価するためのMBPP(Pythonプログラミング問題)や言語理解タスクのためのMMLU(5-shot)などもあります。これらのベンチマークは、モデルのパフォーマンスの総合的な視野を提供し、特定のアプリケーションに最適なLLMの選択を支援するために不可欠です。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/uZFLo0DauSq90Key.png)
13. PPLX 7B
- 説明: PPLX-7Bは、Perplexity AIによって開発された新しいオンライン大規模言語モデル(LLM)で、70億のパラメータを備えています。最新のインターネット情報を活用し、最新で事実に基づいた有益な応答を提供するために設計されています。このモデルは、PPLX APIを介してアクセス可能であり、この機能を提供する最初のモデルです。PPLX-7Bは、既存のLLMに関連する「新鮮さ」として知られる現在の正確な情報の共有の制限や、「幻想」として知られる不正確な記述を回避するために、Perplexityの取り組みの一環として開発されました。
- 強み: PPLX-7Bは、驚くべき処理速度と効率性を示し、数秒で回答を生成し、平均して1秒あたり140のトークンを生成します。包括的で詳細な情報を提供する能力に優れており、理論物理学を含むさまざまなドメインにおいて貴重なリソースとなっています。最新かつ事実に基づいた応答を提供することに焦点を当てたこのモデルは、他のLLMとは異なり、情報の新鮮さを維持するという課題に対処しています。
- ベンチマーク: PPLX-7Bの性能は、他のLLMと比較して評価され、特にGPT-3.5やllama2-70bなどの既存のモデルと比較して、正確で最新の応答を提供する能力が示されています。既存のLLMの制限を克服するためのモデルの重点は、情報の検索と正確性の課題に対するAI言語モデルの分野における重要な進歩を意味します。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/8NROFPDek8x1pyrC.png)
14. Nous Hermes 70B
- 説明: Nous Hermes 70Bは、Nous Researchによって開発された最先端の言語モデルです。30万以上の命令に適応されており、さまざまな自然言語処理タスクにおいて強力なツールとなっています。このモデルは、詳細で正確なコンテンツを生成する能力で注目されており、さまざまな言語関連のアプリケーションに適しています。
- 強み: Nous Hermes 70Bモデルには、詳細で長い回答を提供する能力、低い幻想率、および合成トレーニングデータにOpenAIの検閲メカニズムを含まないといういくつかの特長があります。これらの特徴は、正確で詳細な言語生成を求められるタスクにおいて信頼性のある選択肢となります。Nous Research、Teknium、Emozillaの主導する微調整プロセスにより、さまざまな自然言語処理のベンチマークで高品質なパフォーマンスが実現されています。
- ベンチマーク: このモデルは、ARC(質問回答のベンチマーク)、BoolQ(自然言語推論データセット)、Hellaswag(常識的な推論のベンチマーク)、OpenBookQA(択一問題回答のベンチマーク)、PIQA(物理的な常識推論のベンチマーク)、Winogrande(常識的な推論のベンチマーク)などのベンチマークで評価され、さまざまなドメインで人間らしいテキストの理解と生成能力を示しています。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/vYQ1gzLznp8aT9Xn.jpeg)
15. Airoboros L 2 70B
- 説明: Airoboros L 2 70Bは、コーディング、エージェント/関数呼び出し、思考処理などの複雑なタスクに対応する高度なAIモデルです。入力基準に基づいて回答を生成するための洗練されたアプローチを活用し、JSONおよびYAMLの出力をサポートしています。このモデルは、詳細なコーディング命令や複雑なクエリ応答の処理に特に優れており、実行計画や複数のステップ命令の処理機能も備えています。
- 強み: Airoboros L-2 70-bの主な強みの1つは、特定の基準に基づいた複雑なコーディングタスクを処理できる能力です。詳細な要件に基づいてアプリケーションを作成したり、マルチスレッドのサーバを書いたりし、提供されたツールセットを利用して命令に対する最適な応答を生成したりすることができます。このモデルは、PythonやCなどのプログラミング言語を含むさまざまな形式をサポートしています。さらに、その思考連鎖機能により、与えられた問題に対して複数の可能な回答を提供し、論理的な推論に基づいて順位付けを行い、最も実現可能な回答を選択することができます。
- 使用方法: Airoboros L-2 70-bから最良の結果を得るためには、特定の開始と終了の命令マーカーでプロンプトを構築することをお勧めします。これにより、モデルが命令をより良く理解し、応答することができます。さまざまな複雑なクエリとタスクを処理できるため、さまざまなアプリケーションに対して多目的なツールとなります。
![](https://anakin.ai/ja-jp/favicon.png)
16. Synthia 70B
- 説明: Synthia-70Bは、Migel Tisseraによって開発された大規模言語モデル(LLM)です。OrcaスタイルのデータセットでトレーニングされたLLama-2-70Bモデルであり、命令の従属や長い対話の生成にも適応されています。このモデルは、知性、個性、ユーモアの絶妙な組み合わせで評価されています。
- ベンチマーク: オープンLLMリーダーボードで70以上のスコアを獲得し、ChatGPT-3.5のパフォーマンスに匹敵または優れています。 Synthia-70Bはさまざまなタスクで評価され、arc_challenge、hellaswag、mmluなどの指標で高い性能を示しています。
- 強み: 強みとして、このモデルは高い割合で多肢選択問題に正解し、指示に従い、すべてのデータ入力を認識する能力で知られています。
- 要件: Synthia-70Bモデルをスムーズに実行するためのハードウェア要件には、比較的新しいコンシューマーレベルのCPU(コア数とクロックが良好なもの)と、最高のパフォーマンスを発揮するためのハイエンドのGPUが含まれます。このモデルはGGUF、GPTQ、HFなどのさまざまなファイル形式で利用できます。Synthia-70Bは比較テストで高い性能を発揮し、最も正しい答えを提供する能力により、本格的な使用向けに推奨されています。
![](https://anakin.ai/ja-jp/favicon.png)
17. Mythalion 13B
- 説明: Mythalion-13Bは、PygmalionAIによって開発された大規模言語モデル(LLM)です。Pygmalion-2 13BとMythoMax 13Bモデルを統合したものです。このモデルは、コンテキスト8192および17.4Mトークンを持つ高速かつコンパクトなモデルです。
- 強み: このモデルは、さまざまな量子化手法で利用可能で、モデルのサイズと品質のトレードオフが異なります。たとえば、mythalion-13b.Q5_K_S.ggufモデルはサイズが9.0 GBで、比較的低い品質損失のために推奨されます。一方、mythalion-13b.Q8_0.ggufモデルはサイズが13.8 GBであり、極めて低い品質損失のためにほとんどの目的には推奨されません。
- ベンチマーク: ベンチマークの観点では、このモデルはスコア49を持っています。Mythalion-13Bは、正しい回答を提供する能力が高く、比較テストでは他のモデルを凌いで最も正しい回答を出したことがわかりました。
![](https://anakin.ai/ja-jp/favicon.png)
18. Yi-34B
- 説明: Yi 34-bは、中国のAIスタートアップ01.AIによって開発された大規模なバイリンガル(英語/中国語)言語モデルです。34 billionパラメータを含み、4Kのシーケンス長をサポートするデータセットで訓練されており、推論時には32Kまで拡張できます。このモデルはさまざまなチャットのユースケースに最適化されており、最大200Kのコンテキストウィンドウを処理できます。
- 注目の特徴: Yi 34-bは読解力、常識の推論、数学/プログラミングタスクなどの分野で最先端のパフォーマンスを達成しています。このパフォーマンスとバイリンガルの能力により、オープンソースの大規模言語モデルの領域で重要な競争力を持っています。
- アプリケーション: パラメータの数の多さとバイリンガルの性質から、Yi 34-bはテキスト分類、感情分析、質問応答などのさまざまなNLPタスクに適しています。
- アクセスと使用: 十分なハードウェアリソースがあれば、Yi 34-bをローカルに展開することも可能です。また、ローカル展開を希望しないユーザー向けにAPIを通じてアクセスすることもできます。このモデルは、モデルライセンス契約2.0で特定の条件の下で、学術および商業目的の両方で使用できます。
- 背景: Yi 34-bの作成は、01.AIが中国市場向けに特化したAIシステムを開発する取り組みの一環です。これは他のグローバルAI組織のシステムへのアクセスが制限されていることへの対応策であり、著名なコンピュータサイエンティストである李開復が指導しています。Yi 34-bの開発により、01.AIはユニコーン企業のステータスを獲得し、10億ドル以上の評価額を持つこととなりました。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/jVbsVNdnzOVMlWG7.png)
19. Yi 6B
- 説明: Yi 6-bは、Yiシリーズのよりコンパクトなバージョンであり、特定のユースケースに焦点を当てた効率的な言語処理を重視しています。
- 強み: このモデルは、迅速かつ正確な言語処理が必要なアプリケーションで優れた性能を発揮する可能性がありますが、計算リソースは限られています。
- ベンチマーク: パフォーマンスの指標には、応答時間、クエリへの理解と応答の正確性、さまざまなシナリオでの総合的な効率性などが含まれる可能性があります。
![](https://assets.anakin.ai/app/app-icon/custom/20240110/kMPo9J62UVA4uOaQ.png)
20. Noromaid 20B
- 説明: Noromaid-20Bは、IkariDevとUndiによって開発された大規模な言語モデル(LLM)です。v0.1.1などのさまざまなバージョンで提供されており、生き生きとした一貫したキャラクターの応答が特徴で、ロールプレイやストーリーテリングに適しています。このモデルはGGUFなどのさまざまな形式で提供されており、品質とサイズの仕様が異なるため、ユーザーは特定のユースケースに最適なバージョンを選択できます。
- 強み: Noromaid-20Bの強みの1つは、露骨なストーリーやロールプレイのシナリオの作成におけるパフォーマンスです。 ユーザーからは、特に活気のあるキャラクターの応答を生成する能力がある点で、13Bバリアントよりも大幅に優れていると報告されています。
- ベンチマーク:ノロメイド-20Bは、Mythomax 13Bなどの他のモデルと比較されており、代替モデルと比べて改善された結果やより活気のあるキャラクターの応答がユーザーによって報告されています。また、Anakin AIなどのプラットフォームでも利用でき、初期テストでは高い結果をもたらすと説明されています。
![](https://anakin.ai/ja-jp/favicon.png)
21. ラマ 2-70B Instruct v2
- 説明:ラマ 2-70B Instruct v2は、Upstageによって開発された言語モデルです。GGML形式で利用可能であり、オープンLLMリーダーボードの一部です。このモデルは、Andreessen Horowitz(a16z)の助成金によって寛大に支援されています。
- 強み:このモデルはNvidia A100(80GB)GPUハードウェアで動作し、予測結果は通常39秒以内に完了します。そして、ベンチマークに関しては、モデルはMT-benchを使用して評価されました。MT-benchは一連の難解な多ターンオープンエンドの質問です。これにより、モデルの複雑な言語理解および生成タスクへの対応能力が示されています。
- ベンチマーク:このモデルの強みは、さまざまなベンチマークでの性能です。たとえば、Open LLMリーダーボードでは、H4ベンチマークで72.3のスコア、ARCベンチマークで70.9のスコア、HellaSwagベンチマークで87.5のスコア、MMLUベンチマークで69.8のスコア、TruthfulQAベンチマークで61のスコア、およびMT_Benchベンチマークで7.24375のスコアを達成しました。
![](https://anakin.ai/ja-jp/favicon.png)
22. ラマ 2-13B
- 説明:ラマ-2-13Bは、Metaによって開発された最新の言語モデルであり、130億のパラメーターを誇ります。Llama 2ファミリーの一部であり、幅広い自然言語処理(NLP)のタスクに適しています。
- 強み:このモデルの強みは、高いリクエスト処理数、遅延の最小化、およびNLPタスクに対する費用効果の高いソリューションを提供する能力にあります。
- ベンチマーク:Llama-2-13Bモデルは、遅延、リクエスト処理数、およびコストのパフォーマンスに関してベンチマークが行われており、ビジネス要件に基づいて適性を評価するために重要です。このモデルはパフォーマンスメトリックスで優位性を発揮し、特定のタスクに特化するために微調整されており、さまざまなNLPアプリケーションにおいて多目的かつ強力なツールとなっています。
![](https://anakin.ai/ja-jp/favicon.png)
23. Google Palm 2 & Google Palm 2 32k
- 説明:PaLM 2は、高度な推論、翻訳、コード生成などのタスクで優れた性能を発揮するために設計されたGoogleの次世代大規模言語モデルです。これは、機械学習と責任あるAIの分野でのGoogleの先駆的な研究の積み重ねの上に構築されています。
- 強み:モデルのアーキテクチャと目標も更新されており、全体的なパフォーマンス向上、推論の高速化、提供パラメーターの削減、および低いサービングコストを実現しています。
- ベンチマーク:PaLM 2は、PaLMと比べて、大規模言語モデルの3つの異なる研究進歩を統一し、改良されたデータセットミクスチャー(人間の言語やプログラミング言語、数学の式、科学論文、Webページなどを含む)を持つことで改善されています。
![](https://anakin.ai/ja-jp/favicon.png)
また、32kのコンテキストウィンドウを持つGoogle-Palm-2-32kバージョンもテストすることができます。
![](https://anakin.ai/ja-jp/favicon.png)
24. Mistral Open Orca 7B
- 説明:Mistral-7B-OpenOrcaは、MistralAIによってリリースされた大規模言語モデル(LLM)です。このモデルは、30B未満のすべての他のモデルよりも優れた総合的な性能を発揮し、Llama2-70B-chatの性能の98%を達成しています。
- 強み:このモデルの性能は、Llama2-70Bなどの他のLLMと比較され、競争力のある結果を達成していることが示されています。Mistral-7B-OpenOrcaは、リリース時点で30B未満のすべてのモデルにおいて第1位にランクインされており、その高いパフォーマンスをさらに強調しています。
- ベンチマーク:このモデルはクラスを超越したパフォーマンスで知られており、比較的低価格なコンシューマーGPUでも完全に高速化された実行が可能です。広範なアクセシビリティと使用を可能とするオープンモデルでもあります。Mistral-7B-OpenOrcaは、BigBench、GPT4ALLリーダーボード、MT-Bench、AGIEvalなどの様々なベンチマークテストによって評価されています。 安定した拡散は、パフォーマンスの点でベースのMistral-7Bモデルおよび他の7Bおよび13Bモデルを上回ることが判明しています。
![](https://anakin.ai/ja-jp/favicon.png)
25. Neural Chat 7B
- 説明: Neural Chat 7Bは、様々なアプリケーションに使用するための先進的なニューラルネットワーク技術を使用して、魅力的でダイナミックな会話体験を作り出すことに焦点を当てたLLMモデルです。
- 強み: 潜在的な強みとしては、自然で流れるような会話を行う能力があり、チャットボットや仮想アシスタントアプリケーションに適していることが挙げられます。
- ベンチマーク: パフォーマンス評価は、言語理解、応答の関連性、エンゲージメントなど、会話能力に焦点を当てる可能性が高いです。
![](https://anakin.ai/ja-jp/favicon.png)
26. MythoMist
- 説明: MythoMist 7Bは、高度に実験的なMistralベースのマージモデルであり、開発中に積極的にベンチマークが行われています。さまざまな量子化フォーマットで提供されており、モデルサイズと品質の間の異なるトレードオフを持っています。モデルはGryphe Padarによって作成され、andreessen horowitz(a16z)からの助成金によって寛大にサポートされています。
- 強み: モデルの強みは実験的な性質と積極的なベンチマークプロセスにあり、特定のユーザーの目標に合わせて調整することができます。ベンチマークによって、さまざまな使用ケースやコンテキストにおけるパフォーマンスが評価され、特定のアプリケーションに適しているかどうかについての情報が提供されます。
- ベンチマーク: ベンチマークでは、他社のフラッグシップモデルと比較され、コーディング、ストーリー生成などのさまざまなタスクの文脈でのパフォーマンスが評価されます。
![](https://assets.anakin.ai/app/app-icon/custom/20231218/vslinOSrsmyAFw0y.png)
27. OpenChat
- 説明: OpenChat言語モデルは、その印象的なパフォーマンスから注目されているオープンソースの大規模言語モデル(LLM)です。これは「概念実証」と評され、最強の7Bモデルの1つであり、C-RLFTと呼ばれるユニークなトレーニング戦略を採用しています。モデルはC-RLFTで微調整され、3つの標準ベンチマークで全ての13Bオープンモデルの中で最高の平均パフォーマンスを達成しています。
- 強み: OpenChatモデルはそのパフォーマンスを称賛されていますが、OpenChatを含む異なる言語モデルの評価と比較における制約と課題についても議論されています。
- ベンチマーク: OpenChat-3.5-1210は、HumanEvalで15ポイントの向上を実現し、3月にはGPT-4を上回りました。AGIEvalを使用してモデルのパフォーマンスが検証されており、openchat-13bのみがベースモデルを上回っています。
![](https://assets.anakin.ai/app/app-icon/custom/20231218/JKIDJWEhOv041CSy.png)
28. Zephyr 7B
- 説明: Zephyr-7BはHugging Faceによって開発された言語モデルで、単なるチャットボット以上の機能を持つことを目指しています。CC BY-NC 4.0ライセンスの下で英語を主な対象としている7BパラメータのGPTライクなモデルです。Zephyr-7Bは、公開および合成データセットの組み合わせでトレーニングされており、その頑健性と汎用性に貢献しています。
- 強み: Zephyr-7Bはパフォーマンスと効率性において優れており、モデルの出力の人間の評価と密接に相関するスコアを達成しています。MT-BenchやAlpacaEvalなどのベンチマークにおいて、より大きなモデルよりも優れたスコアを実現しており、パフォーマンスおよびアライメントメソッドの評価を行っています。Zephyr-7Bの独自のトレーニング手法であるDirect Preference Optimization(DPO)によって、パフォーマンスが向上し、他のモデルよりも使いやすくなっています。
- ベンチマーク: Zephyr-7Bのリリース時点では、MT-BenchおよびAlpacaEvalのベンチマークで7Bチャットモデルの中で最高の評価を獲得し、AlpacaEvalでは7.34のスコアを獲得しており、他のモデルと比較して優れたパフォーマンスを示しています。 ただし、数学の問題解決においては相対的な弱点がある可能性があり、このギャップを埋めるためにさらなる研究が必要です。
![](https://assets.anakin.ai/app/app-icon/custom/20231218/04eEfvP7E2n1KPMj.png)
29. Nous Capybara 34B
- 説明: Nous Capybara 34Bは、NousResearchによって開発されたオープンソースの大規模言語モデル(LLM)です。高速かつ効率的な性能で知られており、さまざまな自然言語処理タスクにおいて貴重なツールです。このモデルは、Limarpv3やAWQなどの異なるバージョンが用意されており、特定のアプリケーションや言語(ドイツ語を含む)に対応しています。
- 強み: Nous Capybara 34Bの主な強みの一つは、高速な性能です。これにより、リアルタイムのアプリケーションや大規模な言語処理タスクに適しています。また、複雑な言語理解や生成を扱う能力においても高い評価を受けており、開発者や研究者にとって多目的な選択肢となっています。
- ベンチマーク: このモデルは他のLLMとのベンチマークテストが行われ、その競争力のある性能と広範な適用性が示されています。ドイツ語など、さまざまな言語固有のコンテキストでテストされ、言語理解や生成の面で有望な結果が示されています。
![](https://assets.anakin.ai/app/app-icon/custom/20231218/CH2SRHpLZOdgLTLS.png)
30. RWKV v.5
- 説明: RWKV v.5は、Recursal.AIによって開発されたオープンソースの大規模言語モデル(LLM)です。これは、RNN(再帰型ニューラルネットワーク)とトランスフォーマーの特性を組み合わせたモデルであり、トランスフォーマーモデルと同等のパフォーマンス、高速な推論、低VRAM使用量、高速なトレーニング、"無限"のコンテキスト長、自由な文の埋め込みなどの特性を持っています。このモデルは100以上の世界の言語で訓練されており、70%が英語、15%が多言語、15%がコードです。
- 強み: RWKV v.5の強みは、さまざまな言語を扱えること、トランスフォーマーモデルと同等の性能、トレーニングおよび推論の両方でVRAMなどのリソースを効率的に使用する能力などです。
- ベンチマーク: RWKV v.5は他の言語モデルとのベンチマークテストが行われ、競争力のある性能と多様な言語タスクの処理能力が示されています。特に多言語の文脈での言語理解と生成において有望な結果が示されています。
![](https://assets.anakin.ai/app/app-icon/custom/20231218/83thVPMLA2DVdZ8q.png)
これらのモデルは、異なるタスクとアプリケーションに特化したAIの能力を示しています。それぞれのモデルの具体的な特徴を深く探るために、全容を見てみましょう!
そうですね、これらのオープンソースモデルをAnakin AIで使用してAIアプリを作成し、ノーコードでワークフローをカスタマイズし、独自のAIエージェントを構築できます!
![Anakin AIでノーコードでカスタマイズされたAIエージェントを構築](https://assets.anakin.ai/blog/2024/01/anakin-3-1.webp)
オープンソースLLMの未来
オープンソースLLMの展望は、包括的で倫理的、多様なAIモデルに向かっています。将来の展開では、AIの偏見の低減、モデルの効率向上、より幅広いユーザーへのアクセスの確保に焦点を当てることが予想されます。また、学術界と産業界の間でのさらなる協力やイノベーションの推進、倫理基準の確立も期待されています。
もう1つの興味深い展望は、テキストだけでなく、画像や音声など、他のデータ形式も理解および生成するモデルの進化です。これにより、統合された多才なAIシステムが実現されるでしょう。
結論
オープンソースの大規模言語モデルの領域は、さまざまなアプリケーションに対して豊富で多様なツールを提供しています。各モデルはそれぞれ独自の特徴を持ち、AI技術の民主化、イノベーションの促進、倫理的かつ包括的なAI開発への道を切り拓いています。
まとめると、これらのオープンソースLLMの探索は、可能性と新たな展開のある活気に満ちたフィールドを明らかにします。これらのモデルが進化するにつれて、AIとの相互作用が変わり、AIが私たちの日常生活でよりアクセス可能で影響力のあるものになることを約束します。