2024年3月17日にイーロンマスク氏が設立したAI企業のxAIが、同社の大規模言語モデルである「Grok-1」のベースモデル重みとネットワークアーキテクチャをApache 2.0ライセンスでリリースされました。
Grok-1の特徴として以下の点が紹介されています。
- 大量のテキストデータで訓練されたベースモデルで、特定のタスク向けに調整されていない。
- 3140億パラメータのミクスチャー・オブ・エキスパーツモデルで、特定のトークンに対して25%の重みがアクティブになります。
- 2023年10月、xAIがJAXとRustの上に構築したカスタムトレーニングスタックを使って一から訓練。
2024年3月11日に、イーロンマスク氏は「Grok」をオープンソースにするとXでポストしており有言実行した形になります。
引用
あわせて読みたい
Open Release of Grok-1
We are releasing the weights and architecture of our 314 billion parameter Mixture-of-Experts model Grok-1.
