xAIは大規模言語モデル「Grock」をオープンソースで公開

ChatGPT

2024年3月17日にイーロンマスク氏が設立したAI企業のxAIが、同社の大規模言語モデルである「Grok-1」のベースモデル重みとネットワークアーキテクチャをApache 2.0ライセンスでリリースされました。

Grok-1の特徴として以下の点が紹介されています。

  • 大量のテキストデータで訓練されたベースモデルで、特定のタスク向けに調整されていない。
  • 3140億パラメータのミクスチャー・オブ・エキスパーツモデルで、特定のトークンに対して25%の重みがアクティブになります。
  • 2023年10月、xAIがJAXとRustの上に構築したカスタムトレーニングスタックを使って一から訓練。

2024年3月11日に、イーロンマスク氏は「Grok」をオープンソースにするとXでポストしており有言実行した形になります。

引用

Open Release of Grok-1
We are releasing the weights and architecture of our 314 billion parameter Mixture-of-Experts model Grok-1.

AI・DX・LowCodeなど企業に役立つ情報を発信しています。

タイトルとURLをコピーしました