独自の日本語LLM（大規模言語モデル）、Amazon SageMaker JumpStartで公開

2024年3月14日

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）が、AWSのフルマネージド型の機械学習サービスである「Amazon SageMaker 」で扱えるモデルとなったことをお知らせいたします。なお、世界的なクラウドサービスにおいて当社のLLMを公開するのは今回が初めてです。

当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月にはCyberAgentLM・2023年11月にはそのバージョン2を一般公開するなど、自然言語処理技術発展への貢献に努めてまいりました。

また2023年11月から2024年1月にかけては、「AWS LLM 開発支援プログラム」に採択され、AWSよりLLM開発を行うための計算機リソース確保に関するガイダンス・AWS 上でのLLM事前学習に関わる技術的なメンタリング、ビジネス支援、LLM学習用クレジット等のサポートを受けてまいりました。

このたび、取り組みの一環として、Amazon SageMaker JumpStartにおいて「CyberAgentLM」が扱えるモデルとなりました。これにより、日本語LLMを利用したい企業は、Amazon SageMakerのAmazon SageMaker JumpStartのメニューから選択いただくことで簡単に「CyberAgentLM」を自社環境にデプロイできるようになります。

■モデルについて

今回掲載したモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデルであるCyberAgentLM2-7Bをチャット形式でのチューニングを行ったCyberAgentLM2-7B-Chatです。CyberAgentLM2-7B-Chatは入出力の長さとして32,000トークンに対応しており、日本語の文章として約50,000文字を一度に処理することができます。モデルは商用利用可能なApache License 2.0で提供されています。