生成AIの業務適性をSPI型テストで評価
株式会社エル・ティー・エス（本社：東京都港区、代表取締役社長：樺島 弘明／以下、LTS）の関連会社である株式会社ビジー・ビー（本社：東京都港区、代表取締役社長：牟田口陽介）は、当社が独自開発したExcel用のアドイン『生成AIツール for Excel』の2024年5月版をマイクロソフトのOfficeストア（https://appsource.microsoft.com/ja-jp/product/office/wa200006231）で5月3日にリリースしました。
■主要3社16モデルに対応、世界唯一のExcelアドイン
当社が昨年11月に発表した『生成AIツール for Excel』は、AIによる多数決機能など先進的機能を盛り込んだ無償[1]アドインです。2024年5月版では、グーグルのGemini 1.5 Proが選択可能になり、生成AIの主要3社16モデル（GPT-4 Turbo、Gemini Pro 1.5、Claude 3 Opus等）に対応する世界で唯一[2]のExcelアドインになりました。
生成AIは巨額の投資が続く分野ですが、業務利用が可能な水準に達しているのか、日本企業のAI運用者には客観的な評価基準がありません。そこで当社では、表形式でデータを扱える当社製アドインの特性を活かし、各社の高性能モデルの業務適性を採用試験等で使われるSPI型テスト[3]で比較しました。その結果、特にClaude 3 Opusの性能が高く、現時点で一般に利用可能な高性能モデルであるGPT-4、Gemini 1.5 Pro、Claude 3 Opusの正答率は53％を超え、得点だけをみれば「就活生並みの能力」があることがわかりました。
比較結果の概要については、ビジー・ビーのリリースページ（https://busybee.co.jp/newsitem-20240510.html）でご覧ください。
[1] ご利用にはOpenAI及びグーグル、AnthropicのユーザーアカウントでAPIキー（秘密鍵）を取得する必要があります。APIの利用には別途費用が発生します。
[2] 2024年5月7日、マイクロソフトのOfficeストアで提供されているアドインの範囲で調査
[3] SPI（Synthetic Personality Inventory）は株式会社リクルートマネジメントソリューションズが開発した就活等の適性検査手法。今回の調査では図表の読み取り問題を含まない3分野295問を当社で用意し、各社のAPIに送信、回答を一部加工して集計しました。本調査とリクルートマネジメントソリューションズは関係ありません。
【株式会社エル・ティー・エスについて】
東京証券取引所 プライム市場（証券コード：6560）ＵＲＬ ：https://lt-s.jp/
株式会社エル・ティー・エスは、デジタル時代のベストパートナーを目指し、お客様の変革実行能力を高めるためのコンサルティングを主軸としたプロフェッショナルサービスと、IT業界の企業や人材をつなぎ新しいビジネス機会を創出するプラットフォーム事業を運営しています。
【本プレスリリースに関するお問い合わせ先】
株式会社ビジー・ビー ： https://busybee.co.jp/
TEL：03-3470-3171 Email：info@busybee.co.jp
引用
