ELYZA、グローバルモデルに匹敵する日本語LLMを開発、デモ公開

2024年3月18日

国内モデルの中で最高性能。今春以降、APIを含め順次提供開始

　東京大学松尾研究室発、大規模言語モデル（LLM）の社会実装を進める株式会社ELYZA（代表取締役：曽根岡侑也、以下ELYZA）は、700億パラメータの最新モデル「ELYZA-japanese-Llama-2-70b」を開発し、グローバルモデルに匹敵する性能を達成しました。また、本モデルを含むELYZAの日本語大規模言語モデル群を「ELYZA LLM for JP」シリーズとして、提供を開始します。提供開始に伴い、チャット形式のデモサイトを公開いたしました。

ELYZA LLM for JP｜デモ版（ https://elyza.ai/lp/elyza-llm-for-jp ）

※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。

　本モデルは、ELYZA が公開している日本語ベンチマーク ELYZA Tasks 100 を用いた人手によるブラインド性能評価、及びStability AI 社が提供しているベンチマーク Japanese MT-Benchの自動評価で、公開されている日本企業の大規模言語モデル(以下、LLM)を大きく上回りました。更に、OpenAI社の「GPT-3.5 Turboシリーズ」やAnthropic社の「Claude 2シリーズ」、Google社の「Gemini 1.0 Pro」をはじめとするグローバルモデルにも匹敵する性能を達成しています。

　ELYZAでは、本モデルを皮切りに、今後も日本語においてグローバルプレイヤーが提供するLLMに匹敵する性能を持つ汎用LLMの開発・改善を進めてまいります。また、汎用モデルに加え、業界・企業などに特化したLLMの開発も開始してまいります。そして、これらのLLMを「ELYZA LLM for JP」シリーズと称し、グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど様々な形態で順次提供を開始していきます。

■ニュースサマリ

ELYZAが700億パラメータの「ELYZA-japanese-Llama-2-70b」を開発。
本モデルはグローバルモデルに匹敵する性能を実現しており、国内モデルのなかでは最高性能。
ELYZAは独自開発した日本語大規模言語モデル群を「ELYZA LLM for JP」とし、今春以降、APIサービスや共同開発プロジェクトなど様々な形態で順次提供開始。
提供開始に合わせて、チャット形式のデモサイトも公開。

■国内のLLM市場動向

　2022年11月にChatGPTが登場して以来、LLMは国家・企業の競争優位の源泉になりうる技術という認識が広がり、OpenAI社・Google社・Anthropic社・Meta社などの米国プレイヤーを筆頭に様々なプレイヤーがモデル開発を進めています。

　国内においても、安全保障・イノベーション等の観点から海外に対抗できるLLM開発が希求されており、2023年から大手ITベンダーを中心に、独自モデルとして70億/130億パラメータのモデルが開発されているほか、研究機関や大学、AIスタートアップからも研究成果として現時点で50以上のモデルが公開されている状況です。また、国としても大規模言語モデル構築支援プログラムや国産LLM開発プロジェクト「GENIAC」などを通じて、LLM開発に予算を割り当て、開発支援を強化しています。

　一方で2023年末時点では、グローバルプレイヤーが開発するモデルと比較して、国内モデルの性能は大きく差をつけられている状況に変化はなく、国内企業によるグローバルモデルに匹敵する水準のLLM開発が求められています。

■グローバルモデルに匹敵する性能を保持、国内モデルの中では最高性能を実現

　今回新たに開発した「ELYZA-japanese-Llama-2-70b」はグローバルモデルに匹敵する性能を示し、国内モデルの中では最高性能を実現しました。

図１　ELYZA Tasks 100による性能評価（グローバルモデルとの比較）

図２　ELYZA Tasks 100による性能評価（国内モデルとの比較）

　ELYZA Tasks 100（※1）による性能評価の結果、「ELYZA-japanese-Llama-2-70b」はOpenAI社の「GPT-3.5 Turbo (0125)」やAnthropic社の「Claude2.1」などのグローバルモデルと同等のスコアを獲得しました。また、現時点で国内プレイヤーが公開するモデルの中で最高スコアを獲得しており、本モデルと同じく「Llama 2 70B」をベースとする他の日本語 LLMよりも優れた性能を発揮していることから、ELYZA 独自の事後学習による成果が大きいことが確認できます。

※1 LLM の指示に従う能力や、ユーザーの役に立つ回答を返す能力を測ることを目的とした日本語ベンチマーク。

図3　Japanese MT-Bench（数学及びコーディングカテゴリを除く）による性能評価

　Japanese MT-Bench（※2）による性能評価の結果、Google社の「Gemini 1.0 Pro」やOpenAI社の「GPT-3.5 Turbo (1106)」を総合スコア (平均) で上回るなど、世界最先端のグローバルモデルらに匹敵する性能であることが確認できました。また、特に人文学や科学技術に関する知識、執筆カテゴリでは、総合スコア首位のOpenAI社の「GPT-4 (0613) 」とも同等のスコアを達成しています。
　なお、本結果は日本語能力に非依存な数学及びコーディングカテゴリを除いたものです。全カテゴリを含む詳細な評価結果については、後述のnote記事を参照ください。

※2 Japanese MT-Bench は、Stability AI 社が提供している日本語ベンチマークで、LLM の対話性能を評価するためのベンチマーク MT-Bench を日本語訳したもの。

開発プロセスや評価のより詳細な状況については、note記事で解説しています。こちらも是非ご覧ください。
https://note.com/elyza/n/n0ea755ca3e7b

■「ELYZA LLM for JP」シリーズについて

　ELYZAでは、「ELYZA-japanese-Llama-2-70b」を皮切りに、今後も日本語においてグローバルプレイヤーが提供するLLMに匹敵する性能を持つ汎用LLMの開発・改善を進めてまいります。また、汎用モデルに加え、業界・企業などに特化したLLMの開発も開始してまいります。そして、これらのLLMを「ELYZA LLM for JP」シリーズと称し、グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど様々な形態で順次提供を開始していきます。

　それに伴い、本日より「ELYZA LLM for JP」のデモとして、2024年3月時点で最高性能のモデル「ELYZA-japanese-Llama-2-70b」を基盤とした多様な対話・タスクの実行が可能なチャットサービスを公開します。

ELYZA LLM for JP｜デモ版（ https://elyza.ai/lp/elyza-llm-for-jp ）

※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。

■付記および今後の展望

　「ELYZA-japanese-Llama-2-70b」の学習は、AI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI) の第2回大規模言語モデル構築支援プログラム（※３）を利用して行いました。また、デモについては AWS の協力のもと、AWS Inferentia2 アクセラレーターチップ搭載した Amazon EC2 Inf2 インスタンスを用いて運用されています。

　ELYZAは「ELYZA-japanese-Llama-2-7b」シリーズから継続して「Llama 2」の日本語化に取り組み、今回の「ELYZA-japanese-Llama-2-70b」ではグローバルモデルにも匹敵する性能を達成することができました。ELYZA では今後も日本語 LLM の研究開発を進め、より高性能な日本語 LLM の実現に向けて継続して投資をしてまいります。

※３ https://abci.ai/ja/link/llm_support_program2023_2_guideline.html

■ELYZA会社概要

　株式会社ELYZAは、「未踏の領域で、あたりまえを創る」という理念のもと、日本語の大規模言語モデルに焦点を当て、企業との共同研究やクラウドサービスの開発を行なっております。先端技術の研究開発とコンサルティングによって、企業成長に貢献する形で言語生成AIの導入実装を推進します。

＜会社概要＞