業務上で発生する質問に高精度かつ高速で回答可能な「Stockmark-13b」を公開
ストックマーク株式会社（本社：東京都港区、代表取締役CEO：林 達、以下、「当社」）は、アマゾン ウェブ サービス ジャパン（AWSジャパン）の「AWS LLM 開発支援プログラム」を活用し、日本語単独としては最大規模になる130億パラメータのLLMを公開致しました(*1)。
下記、リンクからご利用頂けます。
https://huggingface.co/stockmark/stockmark-13b
本モデルの特徴は、ビジネス用途での信頼性と速度です。
例えば、「2023年に日本で提供されている電気自動車（EV）の補助金を１つ答えて下さい」といった答えのあるビジネス上の質問に対して、従来の生成AIで問題となっていた「ハルシネーション（幻覚）」を抑制し、高精度で回答できます。これは、当社が独自に収集しているビジネスに関連するオープン情報や特許などのデータも含まれているためであり、他のモデルと比べると最新情報(2023年9月まで)やビジネスドメインに強いモデルとなっています。
また、回答速度は、ChatGPTと比較して、テキスト生成速度が約4倍という高速回答が可能であり、ビジネスで直ぐに知りたいことをストレスなく確認することができます。回答速度の詳細は当社のTechblog(*2)をご参照下さい。
さらに、本モデルは商用利用可能なモデル(*3)であり、ビジネス用途での精度、出力速度、計算コストといった従来の課題に対応した実用的なモデルとなっております。
*1 一般公開されている日本語単独LLMとしては最大規模（当社調べ）*2 詳細な技術情報および利用規約については弊社のTechblogをご覧下さい
（https://tech.stockmark.co.jp/blog/202310_stockmark_13b/）
*3 本モデルのライセンスはThe MIT Licenseになります（https://opensource.org/license/mit/）
- ストックマークのこれまでのLLMに関する活動
当社はLLMに関して日本トップランナーとして、以下の活動を展開してまいりました。
<当社独自の高いAI技術に裏打ちされたプロダクトの成長>
テクノロジーの急速な発展や社会の複雑化により、有益な情報を効率的に獲得し、ビジネスに活かすことが意思決定においてますます重要になっています。当社は「自然言語処理」をコア技術に据え、共同研究や技術開発を行っており、直近ではLLM組織を設立し、最近の話題にも詳しい14億パラメータの日本語LLMを2023年8月に公開しております。
14億パラメータの日本語LLMの詳細は、（https://stockmark.co.jp/news/20230808）をご覧ください。
<研究開発に留まらない大手企業を中心にした強固な顧客基盤>
「Anews」と「Astrategy」は国内GDPの20%を占める、日本の最大産業である製造業企業様を中心に、国内エンタープライズ企業に深く浸透しており、日経225にノミネートされる企業様の約25%が当社のプロダクトをご利用いただいていております。研究開発に留まらず、新しい価値づくりを実現するための情報活用に関する課題を着実に解決し、信頼と実績を積み重ねてまいりました。
<AWS LLM 開発支援プログラムへの採択>
こうした技術面、ビジネス面の両面の実績をご評価頂き、2023年9月に「AWS LLM 開発支援プログラム」に採択頂きました。「AWS LLM 開発支援プログラム」の中でAWSの独自のAIアクセラレータであるTrainiumを活用させて頂くことで、モデル開発を進める各社が計算リソース確保で苦戦する中でも、さらに高精度かつ高速に業務上で知りたい疑問に回答可能なLLMの開発を進めてまいりました。
- 「Stockmark-13b」と他社モデルの比較および実行例
1）独自基準での評価
当社が独自に設定した、最新のビジネス情報に関する質問（SBQ:Stockmark Business Questions、全50問）の正答率も0.80となっており、国内の同規模LLMおよびChatGPTよりも高精度を達成しております（図表1）。
図表1 同規模モデルとの質問回答精度の差
【SBQでの具体的な解答例】※T/F:True or False
2）benchmark（lm-eval-harness）での評価
LLMのモデル評価で活用されるJSQuAD (exact match)*4およびJCommonSenseQA (acc)*5においても他のモデルと比較し高い水準を達成しております（図表2）。
図表2 benchmarkの評価結果
*4 JSQuADとは、文脈と質問を与えられた上で、回答を文脈から抜き出す質問応答タスクです。*5 JCommonSenseQAとは、常識推論能力を評価するため複数選択肢のQAで構成されているタスクです。
出所：https://github.com/yahoojapan/JGLUE
- 今後の展望
多くの企業で生成AIの活用が検討されていますが、セキュリティ面、精度面、コスト面でのギャップに直面し導入に踏み切れていない企業が多いのが実態です。特に自社のユースケースでの精度を気にされている企業様が多く、「Stockmark-13b」は国外プレイヤーの言語モデルを利用せず、最新のビジネス状況に関する質問にも高精度・高速・低コストで回答できるLLMだと自負しております。
当社プロダクトをご利用中のユーザー様には「Stockmark-13b」をベースとした最高精度、最高速度での情報活用体験を段階的にご提供してまいります。
今後は、新規事業開発や用途探索、技術開発などの特定の業務ユースケースにおいて、ユーザーの求める結果を出力する学習を加速させ、さらに実務でご活用頂けるLLMの構築を目指してまいります。
- AWS LLM 開発支援プログラムについて
「AWS LLM 開発支援プログラム」は、LLM開発を行うための計算機リソース確保に関するガイダンス、AWS上でのLLM事前学習に関わる技術的なメンタリング、LLM 事前学習用クレジット及びビジネス支援等のサポートを提供するAWSジャパンが2023年7月に開始したプログラムです。現時点で募集は終了しています。
プログラムの詳細は、（https://aws.amazon.com/jp/local/llm-development-support-program/）をご覧ください。
- ストックマーク株式会社について
会社名：ストックマーク株式会社
所在地：東京都港区南青山一丁目12番3号 LIFORK MINAMI AOYAMA S209
設立：2016年11月15日
代表者：代表取締役CEO 林 達
事業内容：自然言語処理を活用した、情報収集と意思決定の支援を行うサービスの開発・運営
ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の自然言語処理技術を活用し、多くの企業の事業創造活動を支援しております。
当社は自然言語処理技術を活用し、国内外の約35,000サイトのビジネス情報（ニュース、プレスリリース、特許、論文など）を分類しています。AIが”組織の情報収集における課題”を解決する情報収集プラットフォーム「Anews（エーニュース）」と、最新の事業環境をAIが可視化し、話題の企業や事例を瞬時に検索できる市場調査サービス「Astrategy（エーストラテジー）」を通じて、日々の業務に必要な情報収集・共有をサポートします。
引用
