Axcxept社、9B小型AIモデルで日本語処理に革新： – EZO-リリース／セキュアなローカルLLM構築サービスで企業のAI活用を加速

2024年7月13日

高性能モデルGemma-2-9Bのさらなる日本語性能向上に成功

Axcxept株式会社（本社：北海道、代表取締役：Kazuya Houdatsu）は、革新的な日本語AI言語モデル「EZOシリーズ」を本日リリースしました。EZOシリーズは、比較的に軽量な9BパラメータのGemma-2を拡張したモデルでありながら、はるかに大きなClaude Opus / GPT-4Turboモデルに迫る日本語処理能力を、３２時間のトレーニングで実現しました。これは、効率的なモデル設計と革新的なトレーニング手法の成果です。

■ 最適化の壁を超える性能向上

EZOシリーズの2つの新モデル「HODACHI/EZO-Common-9B-gemma-2-it」と「HODACHI/EZO-Humanities-9B-gemma-2-it」は、Gemma-2の高い基礎性能を超えて、日本語処理において約0.25ポイントの性能向上を実現しました。特に人文科学分野に特化した後者のモデルは、Japanese MT BenchとElyza Tasks100による評価で顕著な改善を示しています。

既に高度に最適化されたモデルからさらなる性能向上を達成することは極めて困難でしたが、最適化可能な領域を見出すことができ、安定してベースモデルを上回る成果を出すことに成功しました。この0.25ポイントの向上は、数値だけを見ると小さく感じられるかもしれません。しかし、ローカルLLM、つまり完全に閉じた空間やオンデバイス環境におけるAI活用において、この改善は極めて重要です。わずか9Bパラメータの比較的小さなモデルが、70B以上の大規模モデルに匹敵する性能を発揮できる可能性を示唆しており、効率的かつ実用的なAI実装への道を開きます。

ベンチマーク結果（Japanese MT Bench / Elyza Tasks 100）

もともと高性能な評価をマークしていた、「gemma-2-9b-it」をベースとして、さらなる向上に成功。Japanese MT Benchで0.25ポイント、Elyzaでも0.16ポイントの向上に成功。

2024年7月9日時点 – Japanese MT Bench(GPT4による自動評価)+ElyzaTasks100(各AIのAPIによる自動評価）。一覧は、Japanese MT BenchのAverageの降順。もともと高性能な評価をマークしていた「gemma-2-9b-it」をから、さらなる性能向上に成功しました。Japanese MT Benchで0.25ポイント、Elyzaでも0.16ポイントの向上を達成し、70B以上の大規模モデルであるClaude Opus、GPT-4 Turbo、Llama3-70Bと肩を並べる日本語性能を実現しています。

■ 見出せる可能性

すでに高性能なモデルは、ファインチューニングによる基礎能力が下がる傾向にあります。今回のトレーニングにより基礎性能を下げずに追加のチューニングを行うことに成功し、ほとんどの項目の性能を下げずに、ファインチューニングを行うことができるトレーニング方法を確立することに成功いたしました。

■ 日本企業のためのAIソリューション

多くの日本企業がAI活用を望みながら、セキュリティ懸念から踏み出せないでいます。EZOシリーズは、高性能かつ安全な内部利用向けAIモデルとして、この障壁を取り除きます。

■ 革新的なファインチューニング手法

当社が行ったファインチューニング手法は、FinewebおよびWikiデータセットをもとに作成した高品質なデータと、Pre-Instructionトレーニングを組み合わせたものです。この手法により、既に最適化された最新モデルからさらなる性能向上を引き出すことができました。

■ 効率的な開発速度

当社が研究を行ったのち、今回のこのモデルのトレーニングに要した時間と費用は以下の通りで、高い費用対効果を実現いたしました。

費用：50万 ※汎用的なトレーニング費用の一例になります。データ量や学習率に応じて変動します
時間：32時間（データ準備含む）　※研究期間は２か月

■ モデルページ

<お試し環境>

近日公開！HuggingFaceのモデルページ及び、代表の「Houdatsu」のXアカウント「https://x.com/hokazuya」　より、ご利用いただける環境をアナウンスいたします！ぜひお試しください！

追記：

デモ環境オープンいたしました！

性能向上的には、gemma-2から数ポイント向上なので体感はわかりづらいかもしれませんが、７月１５日までの限定公開でアップしておりますので、ぜひ一度試してみていただければと思います。https://huggingface.co/spaces/HODACHI/EZO

■ 弊社がご提案するサービス：Secure Chat+

Secure Chat+は、企業のニーズに合わせた高性能かつセキュアなAI環境を提供する包括的なサービスです。以下の特徴により、企業のAI導入と活用を強力にサポートします。

1. コスト効率の高いソリューション

通常、GPT-4クラスの高性能AIをローカル環境で運用しようとすると、機材や設定費用として数千万から数億円規模の投資が必要となります。しかし、当社のEZOシリーズとSecureChat+サービスを利用することで、企業は数百万円～数千万円程度の投資で同等クラスの日本語処理能力を持つ、企業専用の超セキュアなAI環境を構築することが可能です。

具体的な導入費用は利用者数や要求される処理能力によって変動しますが、当社のソリューションは従来の方法と比較して圧倒的なコスト効率を実現しています。これにより、中小企業を含む幅広い企業がハイエンドAI技術を活用できる機会を提供します。

2. 包括的なサービス範囲

SecureChat+は、AI導入に関するあらゆる側面を一括してサポートします。

– ローカルLLMの開発とカスタマイズ

– チャットボットアプリケーションの設計と実装

– セキュアな環境構築

– 最適な機材選定と導入支援

– 運用サポートとメンテナンス

すべてのプロセスを当社が一貫して担当するため、お客様は複数の業者と調整する手間を省き、安心して導入を進めることができます。

3. セキュリティと柔軟性の両立

ローカル環境での運用により、機密情報の外部流出リスクを最小限に抑えつつ、企業固有のニーズに合わせたカスタマイズが可能です。

SecureChat+は、高性能AI技術の導入を検討する企業に対して、コスト、セキュリティ、カスタマイズ性のすべてを満たす革新的なソリューションを提供します。当社の専門知識と先進的な技術を活用し、お客様のAI活用を成功に導きます。

詳しくはお問い合わせください（ info@axcxept.com )

■ 今後の展開

当社は、インフラ環境の構築から、アプリケーションの開発、LLM環境の構築、機材の調達まで一括して担当することが可能です。現在提供している企業向けクローズド環境における高性能チャットボット構築サービス「SecureChat＋」を、より多くの企業様のニーズに合わせて安価にカスタマイズし、導入を推進していきます。

また、今回の技術を基盤として、さらなる高性能モデルの開発を進めるとともに、より軽量なモデルの開発も目指します。多数の企業様とのコラボレーションやご支援を通じてAIの幅広い普及を目指しつつ、弊社は持続的な成長戦略を推進してまいります。

北海道から、日本のAI活用に革新をもたらします。