生成AIで自由記述式アンケートを自動分析、手動の1/10の時短を実現

2024年8月11日

株式会社三菱総合研究所（代表取締役社長：籔田健二、以下 MRI）は、生成AIを用いて自由記述式アンケート1,000件の読解・分類・要約を試行した結果、人間が１件ずつ読み解く時間に比べて、10分の1以下に短縮できることが分かりました。同時に、自由記述式アンケート分析業務の効率化に向けた生成AI活用方法・精度評価結果・新業務プロセスを得ることができました。

1. 背景

アンケート調査は、マーケティングにとどまらずさまざまな場面で実施されています。回答方法には選択式と自由記述式があり、一般的には、回答を数値として集計し分析が容易な選択式が多く利用されています。自由記述式の回答は豊富な情報量を含む一方で、手動での読解や分析には多大な時間とコストがかかります。

しかし、近年、自然言語処理技術の進展で文章データからも多くの示唆を得られるようになり、自由記述式回答に対しても、生成AIを用いることで選択式回答と同様の結果を期待できるようになりました。

そこで今回、住民意識調査の自由記述式回答1,000件に対して生成AIを用いた分析を試行し、実業務への適用に向けた利用方法の検討や分類精度の検証を行いました。

2. 試行結果の概要

試行した結果、以下のとおり生成AIを用いて自由記述式回答を分類・要約する方法を確立しました（特許出願中）。

1）指定したカテゴリに沿って自由記述式回答を生成AIで分類

分類指示を行うプロンプト（※1）を最適化することで、MRI研究員による手動分類をしのぐ精度で分類できることを確認
プロンプト選択が生成AIモデル選択と同様に分類性能に大きく寄与することを確認し、自由記述式回答の分析において有効なプロンプトの設計指針が明確に

2）生成AIの分類結果を元に、自由記述式回答の要約を生成AIで作成

生成された要約文章は、分類カテゴリごとに「代表的な意見」を適切に表現
特定の基準における自由記述式回答の分類、代表的意見の抽出と要約など、MRI研究員の通常の作業結果と同様の成果を実現

これら一連の生成は10分以内に実行されました。手動で1,000件規模の自由記述式回答を分析する場合、深い読解力と4～5時間を要しますが、生成AIを用いると10倍以上高速化し大幅な省力化が可能であることがわかりました。また、一律の判断基準を設定し分類することで、分類基準の標準化を実現しました。

以上から、人間が手動で行ってきたアンケート分析業務は、生成AIを用いることで精度を維持向上させながら大幅に効率化できることが分かりました。

※1　AIに対して命令を行うための指示文

　　　　　　　　　　図 1　生成AIを用いた自由記述式アンケート分析の概要

　　　　　　三菱総合研究所作成

　　　　　　　　　　図 2　自由記述式回答の分類に対する分類手法別スコアの比較

　　　　　三菱総合研究所作成

3. 今後の予定

今後は、生成AIとMRI研究員が協働し、自由記述を含むアンケート分析のプロセス変革を進めます。アンケート設計段階から①生成AI活用を見据えた仮説立案　②設問設定　③分析用のデータテーブル構造の設計　④報告書の自動作成を見据えたフォーマットの設計などを行う予定です。

また、生成AIの性能向上や入力文字数の増加を見込む機能改善など、アンケート分析業務を高度化する取り組みを続けます。

今回開発した分析技術は、自由記述式アンケート以外にも、問い合わせ記録やSNS書き込みなど、大量のテキストデータの分析等への適用が可能です。ご関心のある方は、以下お問い合わせ先までご連絡ください。

４. トータル・サポート・サービス「ララサポ」の今後の展開

本試行は、MRIの生成AIソリューション開発コンセプト「ララサポ」の一環として行いました。ララサポでは、アンケート分析の他、報告書などの社内文書生成、カスタマーサポートの品質・スピード向上、営業活動のための提案書生成ソリューションなど、生成AIの活用によるサービスラインナップの拡充を予定しています。MRIにおいても業務改革や連携先企業との協業を通じて技術開発を進め、その成果は順次公表します。

→　ChatGPT技術の安全・迅速な導入を支援するトータル・サポート・サービス「ララサポ」https://www.mri.co.jp/service/large-language-model-support.html

　　　　　　　　　　　　　　　図 3　AI関連サービスの展開計画