オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開

2024年7月1日

　生成AI特化の東大松尾研発スタートアップ株式会社neoAI（本社所在地：東京都文京区本郷、代表取締役社長：千葉駿介、以下neoAI）は、Meta Platforms, Inc.（以下Meta）が開発した大規模言語モデル（以下LLM）「Llama 3」に対し、日本語学習を行い、商用利用可能な日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開しました。本モデルは、商用利用可能なオープンソースで、既に発表されている同等パラメータ数のLLMと比べても、最高水準の日本語性能でありながら、学習は20万円と、かなりの低コストで開発しました。neoAIでは、本モデルを用いたクラウドを利用しないオンプレミス生成AI環境構築や、LLM学習の知見と企業データを用いた業務特化の独自LLM開発支援を進めてまいります。

モデル

「Llama 3 neoAI 8B Chat v0.1」は下記のリンクからご利用いただけます。
https://huggingface.co/neoai-inc/Llama-3-neoAI-8B-Chat-v0.1

ライセンス

　「Llama 3 neoAI 8B Chat v0.1」のライセンスは、LLAMA 3 Community License に準拠しております。Acceptable Use Policyに従う限りにおいては、研究および商業目的での利用が可能です。詳細はhttps://llama.meta.com/llama3/license/ を確認ください。

開発背景

　昨年3月にOpenAIからLLMのAPIが公開されて以来、日本企業でLLMのビジネス活用が進んでいます。ほとんどがAzureやAWS等のクラウドを利用したもので、高性能かつ実装が容易であるものの、利用シーンによっては以下の課題があります。

セキュリティの問題：顧客データや自社のノウハウなど、セキュリティレベルの高いデータは、クラウドでの利用が難しいため生成AI活用が進みません。自社だけで使えるオンプレミス環境で使える独自LLMが求められています。
特定業務への特化が難しい：専門性の高い業務は、プロンプトエンジニアリングだけでは利用可能な精度に達しない場合があり、LLMのモデル自体を追加で学習させるカスタマイズ（以下追加学習）しないと対応できない場合があります。クラウドで提供されるLLMサービスは、クローズドモデルで追加学習ができないことが多いため、オープンソース型のLLMを追加学習させた独自LLMが求められています。

　neoAIでは、これらの課題に対して、Meta等の海外ビックテックの公開する商用利用可能なLLMに日本語能力を獲得させる効率的なアプローチで、ビジネス利用可能な独自LLMの開発を進めています。

今回、neoAIの研究成果の1つとして、低コストで日本語能力を獲得した独自LLM「Llama 3 neoAI 8B Chat v0.1」を公開します。

「Llama 3 neoAI 8B Chat v0.1」について

Point 1: 同等パラメータ数の商用利用可能なLLMの中で最高水準

　「Llama 3 neoAI 8B Chat v0.1」は、商用利用可能な同等パラメータ数のLLMと比べても最高水準の日本語性能を達成しました。

「Llama 3 neoAI 8B Chat v0.1」と同等パラメータ数の商用利用可能なLLMの精度比較。2指標（Japanese MT-Bench、ELYZA Tasks 100）は、GPT-4-Turbo-1106-Previewによって評価。

■ 評価指標に関して

　ビジネス利用の際で重要と考える、日本語でのタスクの遂行能力と人間の好む生成かどうかを評価可能な2指標（Japanese MT-Bench、ELYZA Tasks 100）を利用しています。

Point 2: 低コストで効率的に学習

　「Llama 3 neoAI 8B Chat v0.1」は、Metaが一般公開をしている「Llama 3 8B」に対して、日本語データセットを用いて追加学習を行ったモデルです。

　「Llama 3 8B」は、英語性能が高いものの、英語と比べて日本語回答の精度が低いことや日本語で質問しても英語で回答してしまうことがあるため、ビジネス利用においては、日本語性能を向上させる必要があります。

　商用利用可能なデータセットをもとに、neoAIが独自に作成した高品質少量日本語データセットで学習を行うことで、約20万円と低コストで日本語能力の向上を実現しました。

学習前の「Llama 3 8B Instruct」と学習後の「Llama 3 neoAI 8B Chat v0.1」の精度比較。2指標（Japanese MT-Bench、ELYZA Tasks 100）は、GPT-4-Turbo-1106-Previewによって評価。日本語性能を正しく評価するために、英語の出力を評価しない評価方法に一部改変。

ビジネス利用可能性

　独自LLMは、クラウドで実現の難しい点をカバーが可能で以下2つの利用可能性があります。

オンプレミス環境によるセキュアな利用：顧客データや自社のノウハウなど、セキュリティレベルの高いデータはクラウドの利用が難しい場合があるものの、LLMによる業務効率化が期待できることも多い。本モデルのような独自LLMをオンプレミスで導入することで、処理が自社で完結するため、安心して利用が可能。
追加学習による専門性の高い業務への適用を低コストで実現：GPT-4oなどクラウドで提供されるLLMは追加学習ができないことが多く、暗黙知や熟練のノウハウが必要な専門性の高い業務では利用可能な精度に達しないことも多い。本モデルのような独自LLMは追加学習できるので、企業データを用いた業務特化したLLM開発が可能。今回得た低コストでのLLM学習の知見は、企業の独自データの学習による独自タスク学習にも応用可能である。

　また、ビジネスで実導入するには、独自LLMを用意するだけでなく、アプリケーションが必要となります。

　本モデルと現在数十社に展開中の生成AIプロダクト「neoAI Chat」を組み合わせた、クラウドを全く使わないオンプレミス版のneoAI Chat「neoAI Chat for On-Premises」の提供も今後進めて参ります。