株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、225億パラメータの日本語LLM（Large Language Model、大規模言語モデル）「CyberAgentLM3」を公開したことをお知らせいたします。
当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月に独自の日本語LLMである「CyberAgentLM」を一般公開しました。その後も、2023年11月にバージョン2となる「CyberAgentLM2」を、2024年6月には視覚を付与したVLM（大規模視覚言語モデル）を公開しています。これらの技術は当社が提供する「極予測AI」をはじめとするサービスにおいて広く活用されています。
◾モデルについて
今回公開したモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータのCyberAgentLM3-22B-Chatです。LLMの日本語能力を評価するNejumi LLM リーダーボード3においては、700億パラメータのMeta-Llama-3-70B-Instructと同等の性能となっており、スクラッチ開発のオープンな日本語LLMとしてはトップクラスの性能となります（2024年7月現在）。
モデルは商用利用可能なApache License 2.0で提供されており、以下のURLからご利用いただけます。
■ モデルURL
https://huggingface.co/cyberagent/calm3-22b-chat
■ デモURL
https://huggingface.co/spaces/cyberagent/calm3-22b-chat-demo
当社は今後もLLMの開発とビジネス活用を進めるとともに、モデルの公開や産学連携などの取り組みを通じて国内における自然言語処理技術の発展に貢献してまいります。
引用
