2024年7月23日にMetaは、これまでで最も高度で強力なAIモデルシリーズであるLlama 3.1を正式に発表しました。
Llama 3.1には、業界で最も優れたオープンソースAIモデルとして位置付けられる、画期的な405Bモデルと8B及び70Bのアップデートモデルが含まれます。
Llama 3.1は、いくつかの重要な強化を導入しています：
- 拡張されたコンテキスト長：新しいモデルは最大128Kトークンのコンテキスト長をサポートし、長文のテキスト要約や複雑な会話エージェントなどの高度なアプリケーションを可能にします。
- 多言語対応：8つの言語にわたる強化された言語機能は、さまざまな言語環境での適用性とパフォーマンスを向上させます。
- 柔軟性と制御：405Bモデルは比類のない柔軟性を提供し、合成データ生成やモデル蒸留などの新しいワークフローを可能にします。
Metaはモデルをリリースするだけでなく、Llamaの周りに全体的なエコシステムを構築しています。
このエコシステムの主要なコンポーネントには以下が含まれます：
- Llama Guard 3およびPrompt Guard：開発者が責任を持って構築するのを支援するための新しいセキュリティおよび安全ツール。
- Llama Stack API：Llamaモデルをサードパーティプロジェクトに統合するための標準インターフェース。
- 広範なパートナーサポート：AWS、NVIDIA、Google Cloudなど、25以上のパートナーが初日からサービスを提供し、開発者のための堅固なサポートとインフラを確保。
Llama 3.1モデルは、150以上のベンチマークデータセットと多数の実世界シナリオで厳密にテストされ、GPT-4のような先端モデルと競争力のあるパフォーマンスを示しています。
405Bモデルのアーキテクチャは、16,000 H100 GPUを使用して15兆トークン以上でトレーニングされ、スケーラビリティと効率性において大きな飛躍を遂げています。
また、405Bを含むLlamaモデルの出力を使用して他のモデルを改善できるようにライセンスを更新しました。
Llama 3.1 モデルを次のURLからダウンロードできる他、AWS、NVIDIA、Databricks、Groq、Dell、Azure、Google Cloudなど25以上のパートナーから利用できます。
Metaは「これらのリリースにより、私たちは前例のない新たな機会の舞台を整えており、私たちの最新モデルが AI コミュニティのあらゆるレベルでどのようなイノベーションをもたらすのか、今から楽しみです。」と発表しています。
引用
あわせて読みたい
Introducing Llama 3.1: Our most capable models to date
Bringing open intelligence to all, our latest models expand context length, add support across eight languages, and include Meta Llama 3.1 405B— the first front...
