さて、話題のテックワールドからの最新情報について見ていきましょう。想像してください:オープンソースのAIモデル、通称「miqu-1-70b」が突如現れ、そして驚きなことに、頭脳面でビッグカフナのGPT-4に迫っているのです。これは普通のテックリークではありません。まるで最高のシェフと匹敵することができる秘密のレシピを発見したかのようです。
Mistral-medium APIを今すぐ使いたいですか?
Anakin AIに参加して、オープンソースのパワーを利用しましょう!
![](https://assets.anakin.ai/app/app-icon/custom/20240116/oU0exxNhtozA6zwI.jpeg)
キーポイント:何が大きな注目を浴びているのか?
- 「miqu-1-70b」は、静かに現れ、GPT-4と驚くほど似ているため注目されています。
- このモデルは、AI愛好家のたまり場であるHuggingFaceに、通称「Miqu Dev」という名前の誰かによってこっそりと投稿されました。
- 4chanやX(そう、マスクが改革したあのX)などのチャットルームやソーシャルメディアでは、この新人について話が盛んに行われています。
- 見たところ、この作戦の裏にあるMistralには、内部でのミスがあり、それがリークの原因となりました。
- GPT-4が存在感を放っている快適な世界を揺さぶることになるかもしれない、ゲームチェンジャーなのです。
Mistral-Mediumのリークバージョン:「miqu-1-70b」
![Mistral-Mediumのリークバージョン:「miqu-1-70b」](https://assets.anakin.ai/blog/2024/02/miqu-1-70b-1-1.webp)
では、状況を把握しましょう。1月28日の良い日、"Miqu Dev"さんがHuggingFaceに爆弾を投下し、"miqu-1-70b"を構成する一連のファイルを提供します。HuggingFaceは、AIモデルをいじくり回すのが好きな人々のための場所です。この"miqu-1-70b"モデルは、Mistralの素晴らしいオープンソースAI世界でのモデルと似ているというウワサが広まっています。彼らはLlama 2というものを微調整した、非常に洗練されたものです。
4ChanとXに投稿されました
でも、待ってください!同じ日に、"Miqu Dev"さんがHuggingFaceでお騒がせをしたのと同じ日に、何者かが4chanに"miqu-1-70b"ファイルへのリンクを投稿しました。そうです、あの4chanです。インターネット上で野生的で奇妙なこと全般の本拠地です。そして、これを聞いて皆が騒ぎ始め、中にはXに行ってこのモデルの実力を誇示する人さえいます。彼らはそれを徹底的にテストし、GPT-4と比較してみるのですが、あなたが当てはめる言葉で言うと、これは一流の存在感を持つチャンピオンのようです。
4Chanのリーク
さて、ここで事件は興味深くなります。テックのエキスパートたちは頭をかいて、「Miqu」はMistralが洩らした秘密のソースではないかと考え始めました。"Miqu"という言葉に関連していると噂されるのは、「量子化」という技術で、データの不要な部分を削減することで、よりパワフルでないコンピュータ上でAIモデルを実行するためのトリックです。そこで、「Miqu」は、おそらくMistralの最新のアイデアであり、通常のものよりもスリムで優れたバージョンになるかもしれない、という噂が広まっています。
Miquは何か特別な何かを持っています。EQ-Benchで83.5のスコアを獲得していて(ローカルで評価されています)、世界中の他のすべてのLLMを凌駕しています(GPT-4を除く)。EQ-BenchはMMLUとは0.97の相関性があり、Arena Eloとは0.94の相関性があります。Mistral Mediumを上回っていて、Q4_K_Mでは… pic.twitter.com/0gOOPjxjPD
— N8 Programs (@N8Programs) 2024年1月30日
遅ればせながら、今、MiquがPerplexity LabsのMistral-Mediumとしてアクセス可能な同じモデルであると100%確信しています。標準的なパズルに詳しいことが可能ではありますが、露語での返答を同一のフレーズで行うためには、絶対に軽蔑レベルの冗談者ではありません。pic.twitter.com/zZMcpspXch
— Teortaxes▶️ (@teortaxesTex) 2024年1月30日
Mistral AIがリークを確認
そして、ブーム!Mistralの大ボスであるアーサー・メンシュ氏がスポットライトに登場します。「はい、私たちの過失です。当社の早期アクセスの一部のお客様の熱心な従業員が、古いモデルをリークしてしまいました」と彼は言います。しかしここがポイントです。それ以来、彼らはさらに優れたものを開発中であることをほのめかしています。メンシュ氏は次々とヒントを投げかけており、GPT-4と肩を並べる、いや、それこそは輝かしい存在になりうるモデルを発表する寸前であることを暗示しています。
私たちがトレーニングし、公開していた古いモデルの量子化(およびウォーターマーキング)バージョンが、早期アクセスの数人のお客様とすぐに開始するためにトレーニングされたものという事実は、非常にオープンです。
— Arthur Mensch (@arthurmensch) 2024年1月31日
卓越したドイツのデータ保護トレーニング試験4つでMIQU-1-70Bを評価しました。
AI界におけるこれの意味とは
ここで考えてみてください。もしMistralがGPT-4に匹敵するオープンソースモデルを導入し、誰でも無料で使用できるようになれば、AI界には衝撃が走るでしょう。OpenAIは背後に気をつけなければならないかもしれません。なぜなら、新しい競争者が登場し、既存の体制に挑戦する準備が整っているからです。このリークは、大手たちがオープンソースのアンダードッグたちとスポットライトを共有する新たな時代の火花となる可能性があります。
見落としに対してお詫び申し上げます。ベンチマークの結果を要約に明示的に組み込みましょう。
MIQU-1-70B テクニカルレビュー
謎に包まれたMIQU-1-70Bモデルは、MistralAIからのリークされた遺物ではないかと疑われ、AI界で大きな興味を引いています。このモデルは、Mistral Mediumの変種か古いMoE試験の遺物であると推定されており、翻訳能力、命令の遵守、多言語コンテンツの取り扱い能力を確認するために厳密なテストが行われました。
テスト手法
MIQU-1-70Bは、実際の従業員の資格試験に基づいた4つのプロのドイツデータ保護トレーニング試験で評価されました。
Miqu-1-70bのパフォーマンス分析
Miqu-1-70Bは素晴らしいパフォーマンスを発揮し、18問中17問を正しく回答し、コンテンツを理解する堅牢な能力を示しました。しかし、「OK」という指示に従って情報を確認するという指示には従わず、指示の遵守において不足がありました。
miqu-1-70bのベンチマーク
順位 | モデル | サイズ | フォーマット | コンテキスト | プロンプト | 1位スコア | 2位スコア | OK | +/- |
---|---|---|---|---|---|---|---|---|---|
1 | GPT-4 | GPT-4 | API | 18/18 ✓ | 18/18 ✓ | ✓ | ✓ | ||
1 | goliath-120b-GGUF | 120B | GGUF | Q2_K | 4K Vicuna 1.1 | 18/18 ✓ | 18/18 ✓ | ✓ | ✓ |
1 | Tess-XL-v1.0-GGUF | 120B | GGUF | Q2_K | 4K Synthia | 18/18 ✓ | 18/18 ✓ | ✓ | ✓ |
1 | Nous-Capybara-34B-GGUF | 34B | GGUF | Q4_0 | 16K Vicuna 1.1 | 18/18 ✓ | 18/18 ✓ | ✓ | ✓ |
2 | Venus-120b-v1.0 | 120B | EXL2 | 3.0bpw | 4K Alpaca | 18/18 ✓ | 18/18 ✓ | ✓ | ✗ |
3 | lzlv_70B-GGUF | 70B | GGUF | Q4_0 | 4K Vicuna 1.1 | 18/18 ✓ | 17/18 | ✓ | ✓ |
... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
19 🆕 | miqudev/miqu-1-70b | 70B | GGUF | Q5_K_M | 32K Mistral | 17/18 | 13/18 | ✗ | ✗ |
... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
他のモデルとの比較分析では、Miqu-1-70Bは優れた言語能力とバイリンガル能力を示しました。しかし、Mixtral-8x7B-Instruct-v0.1モデルやGPT-4、Goliath-120B-GGUF、Tess-XL-v1.0-GGUFなどの上位モデルには及びませんでした。これらのモデルは両方のテストラウンドで完璧なスコアを達成し、「OK」という指示にも従いました。
- MIQU-1-70B: 17/18のスコアで「OK」と一貫して応答しなかった。
- トップモデル: GPT-4、Goliath-120B-GGUF、Tess-XL-v1.0-GGUFはすべて18/18のスコアを獲得し、完璧な理解と指示の遵守を示しました。
Miqu-1-70Bは本当にMistral-Mediumの流出バージョンか?
MIQU-1-70Bの起源に関する憶測には、流出したMistral Mediumモデルや古い実験バージョンであるという理論が含まれます。モデルは優れたバイリンガル能力や返答における追加のコメントなど、Mixtralに似た特徴を示しましたが、トップのMixtralモデルのパフォーマンスを上回ることはありませんでした。
MIQU-1-70Bは、言語理解と翻訳の能力において大きな潜在能力を持つ優れたモデルとして登場します。しかし、他の優れたモデルとのベンチマーク比較では、特に正確な指示の遵守においてギャップがありました。MIQU-1-70Bの起源と正確な性質は推測的であり、そのパフォーマンスはテックコミュニティでの議論や論争を引き起こしています。
Mistral-mediumのAPIを今すぐ使いたいですか?
Anakin AIに参加して、オープンソースのパワーを活用しましょう!
![](https://assets.anakin.ai/app/app-icon/custom/20240116/oU0exxNhtozA6zwI.jpeg)
Mistral-Mediumとは何ですか?
Mistral Mediumは、Mistral AIスイート内の強力な言語モデルとして登場し、前任者であるMistral-tinyとMistral-smallを上回る優れた機能を備えています。32kのトークンからなる広範なコンテキストウィンドウを特徴とし、約24,000語に相当するワードを翻訳することができるMistral Mediumは、AI言語モデルの新たな基準を設定することで高次の推論を支援するよう設計されています。
Mistral-Mediumの性能はどのようになっていますか?
Mistral Mediumは、特にMMLU(57の科目の多肢選択問題)ベンチマークにおいて75.3%のスコアを獲得するなど、優れたパフォーマンスを示しています。
![Mistral-Medium Benchmarks](https://assets.anakin.ai/blog/2024/02/image.png)
このスコアは、高度な理解力と分析能力を示し、Mistral-8x7bおよびMistral-7bよりも優れていることを示しています。
Mistral-Mediumの価格設定
Mistral Mediumの価格設定は、次のように詳細に設定されています:
- 入力1Mトークンあたり2.5€
- 出力1Mトークンあたり7.5€
モデルは1秒あたり2つのリクエストの制限を適用し、ユーザーは1分あたり最大2百万トークン、月間最大2億トークンを処理することができます。これにより、多様なアプリケーションに対してスケーラビリティとアクセシビリティを確保しています。
Mistral-MediumはGPT-4よりも優れていますか?
Mistral MediumとGPT-4の比較は、それぞれの能力について異なる意見があり、議論の的となっています。いくつかの議論や評価が、それぞれのタスクでのパフォーマンスについて洞察を提供しています。以下は、検索結果からのいくつかのポイントです:
- Mistral Mediumは、検閲ベンチマークなど特定のベンチマークでGPT-4.5を上回ると報告されています。
- 一般的な知識の質問、論理/常識の質問、幻覚をテストするために設計された質問などを対象としたクイックな比較では、Mistral Mediumは推論の質問にはうまく対応していましたが、幻覚に関する質問については意外にもGPT-4よりも効果が低かったです。
- Mistral Mediumの性能については意見が分かれており、特定の領域での有効性について懸念を表明する意見もあります。
- Mistral Mediumのベンチマークは、一部の人からは満足のいくものとされ、MMLU(MCQ in 57 subjects)ベンチマークで75.3のスコアが報告されています。
- 特定のアプリケーション向けの適用性を判断するために、Mistral MediumとGPT-4のより包括的な評価と比較が必要と主張するユーザーもいます。
まとめると、Mistral MediumとGPT-4の比較は複雑であり、さまざまなタスクにおけるパフォーマンスについて意見が分かれる点があります。
特定のユースケースに最適なモデルを結論づけるためには、さらなる詳細な評価と比較が必要となる場合があります。
Mistral-medium APIを今すぐ利用したいですか?
オープンソースの力を活用するために、Anakin AIに参加しましょう!
![](https://assets.anakin.ai/app/app-icon/custom/20240116/oU0exxNhtozA6zwI.jpeg)
オープンソースAIの結論と考察
オープンソースのAIモデルであるMistral Mediumなどは、オープンソース運動の中心となる共同作業、革新、アクセシビリティの精神を具現化しています。これらのモデルは、テックジャイアントによって開発されたプロプライエタリなモデルに代わるものであり、最先端のAI技術へのアクセスを民主化し、より幅広い個人や組織がAIの進歩に貢献し、恩恵を受けることができるようにしています。
この変化の重要性は過小評価できません。オープンソースのモデルは、世界中の研究者、開発者、愛好家が協力し、知識を共有し、イノベーションを推進するような包括的で多様なAIエコシステムを育成する可能性があります。この協力的な環境により、AIの進展のペースが加速し、より堅牢で多目的かつ倫理的なAIソリューションが生まれることが期待されます。