株式会社 Preferred Elements（本社：東京都千代田区、代表取締役社長：岡野原大輔、以下、PFE）は、1000 億パラメータのマルチモーダル基盤モデルの開発を開始します。また、世界的にも大規模な 1 兆パラメータの言語モデルの開発に向けた事前学習の検証を実施します。本プロジェクトは、経済産業省、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の公募「ポスト 5G 情報通信システム基盤強化研究開発事業／ポスト 5G 情報通信システムの開発」に提案して採択されたものです。
生成 AI などの基盤モデルと呼ばれる AI 技術は様々な分野で活用が進み、これからの社会・産業を支え
るインフラ技術としてさらなる進化が求められています。日本国内に最先端の生成 AI 開発技術を確保
し、国産で日本語対応能力の高い基盤モデルを開発することは、日本特有の課題や文化への対応、カス
タマイズによる高度なサービス・製品の開発に重要であり、日本の産業のイノベーションの促進と、国
際競争力の向上に寄与することが期待されています。
このたび PFE は、経済産業省及び NEDO が開始する、国内の生成 AI の開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受け、これまで開発した 130 億パラメータ*を大きく上回る 1000 億パラメータのマルチモーダル基盤モデルの開発を行います。また、世界的にも大規模な 1 兆パラメータの大規模言語モデルの事前学習の検証も実施します。
本助成事業で得られた成果物は、安全性などを検証したうえで、1000 億パラメータのモデルのウェイ
トやファインチューニング用コード、学習課題やノウハウを、GENIAC の基盤モデル開発事業者コミュ
ニティや講演などを通じて公開する予定です。また、PFE は、複数の企業や行政機関と 2024 年中の利
用開始に向けた議論を始めており、商用化に向けた準備を進めていきます。
PFE は本助成事業を通じて、日本全体の AI 開発力の向上と技術の蓄積、イノベーションの促進に貢献していきます。
研究開発項目：ポスト 5G 情報通信システムの開発（助成）
研究開発テーマ：（g3）競争力ある生成 AI 基盤モデルの開発
期間：2024 年 2 月 15 日～2024 年 8 月 15 日（予定）
研究実施内容：100B/1T パラメータからなる大規模マルチモーダル基盤モデルの構築
１．1000 億パラメータのマルチモーダル基盤モデルの開発
・事前学習と追加学習
・指示学習
・画像モーダル向けの事前学習と追加学習
・音声モーダル向けの追加学習
２．1 兆パラメータの大規模言語モデルの事前学習の検証
３．成果物の公開
・事前学習済み 1000 億パラメータモデルのウェイトとファインチューニング用ソースコードの公開
・マルチモーダル化および 1 兆パラメータモデルの学習課題やその解決法の公開
・コミュニティへの参加
*：日英 2 言語対応の大規模言語モデル PLaMo-13B を研究・商用利用可能なオープンソースソフトウェアライセンスで公開（Preferred Networks、2023 年 9 月 28 日）
株式会社 Preferred Elements について
生成 AI をはじめとする AI 技術の実用化を進める株式会社 Preferred Networks（以下、PFN）の子会社と
して 2023 年 11 月に創業。PFN が 2023 年 9 月に公開した 130 億パラメータの大規模言語モデル PLaMo13B の開発メンバーが在籍しています。PFE は、PFN グループが蓄積した大規模分散学習や深層学習のノウハウを活用し、より大規模で日本語性能の高い言語モデルや、テキスト、画像、音声、センサ値など様々など種類のデータを扱えるマルチモーダル基盤モデルの開発を行い、日本の産業の技術革新に貢献していきます。
参考情報：
本公募「ポスト 5G 情報通信システム基盤強化研究開発事業
「ポスト 5G 情報通信システム基盤強化研究開発事業」の公募を開始します（2023 年 11 月 10 日）
引用
