ELYZA、経済産業省およびNEDOが推進する「GENIAC」の支援の元、新たな日本語LLMを開発、成果を公開

2024年9月20日

日本語LLMとしての性能向上に向けた新たなアプローチを実施し有効性を証明。国産基盤モデル実現の一助に

　大規模言語モデル（LLM）の社会実装を進める株式会社ELYZA（代表取締役：曽根岡侑也、以下当社）は、日本の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）※1」に採択され、計算資源の提供等の支援を受けながら、日本でインフラとして「使われる」基盤モデルの研究開発を行っておりました。

　この度、「GENIAC成果報告会」にてその成果を公表しましたので、報告いたします。

研究開発した内容の詳細については、以下をご確認ください。

■発表資料

■発表映像（GENIAC公式youtubeチャンネル内）

研究開発成果の概要

　新たな日本語LLM「Llama-3-ELYZA-JP-120B」を構築しました。本モデルの構築にあたり、日本語LLMの性能向上に向けた新たな試みとして、大きく２つの取組みを実施しました。

1.モデルの基礎能力向上

　ELYZAが従来から取り組んでいたオープンモデルをベースにした継続学習によるモデル開発手法に、「Depth Up-Scaling※2」というモデルサイズ拡張アプローチを組み合わせることで、パラメータ数の増強による性能向上を試みました。結果として、複数のベンチマーク※3で「GPT-4(0613)」を超えるスコアを獲得しました。

2.日本特有の知識・表現の性能向上

　日本での社会実装を見据え、日本特有の知識（法令、行政手続き等）に関する特化学習による性能向上を試みました。また、その応答性能を測るためのベンチマークを新たに作成※4 し評価した結果、「GPT-4(0613)」を超えるスコアを獲得しました。

研究開発した内容の詳細については、以下をご確認ください。

■発表資料

■発表映像（GENIAC公式youtubeチャンネル内）

　なお、今回の研究開発における技術的な工夫や得られた知見のより詳細な情報については、後日技術ブログ等を通じて公開予定です。ぜひご覧ください。https://zenn.dev/p/elyza

　ELYZAは今後も、モデルの高性能化に加えて、日本に適合した基盤モデル、具体的には日本の知識や表現を詳しく学習した基盤モデルの構築を行い、日本で「あたりまえ」に活用されるインフラの研究開発・構築を目指してまいります。

※1「GENIAC（Generative AI Accelerator Challenge）」は、日本の生成AI の開発力強化を目的とした経済産業省およびNEDOが推進するプロジェクトです。https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

※2　既存のモデルを深さ方向に拡張することで、パラメータ数の増加による性能向上を試みる手法。

※3「Japanese MT-Bench」「ELYZA-Tasks-100」「nejumi-v3」の３つのベンチマークによる評価。「nejumi-v3」は、wandb/llm-leaderboardを使用して算出し、「汎用的言語性能(GLP)_AVG」を参照。

※4 日本のローカルルールに関する知識と、その活用に関する計30問のベンチマークを独自に作成。