NEDO の採択を受け、1000 億パラメータのマルチモーダル基盤モデルの開発と1 兆パラメータの大規模言語モデルの事前学習の検証を開始

ChatGPT

株式会社 Preferred Elements(本社:東京都千代田区、代表取締役社長:岡野原大輔、以下、PFE)は、1000 億パラメータのマルチモーダル基盤モデルの開発を開始します。また、世界的にも大規模な 1 兆パラメータの言語モデルの開発に向けた事前学習の検証を実施します。本プロジェクトは、経済産業省、国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)の公募「ポスト 5G 情報通信システム基盤強化研究開発事業/ポスト 5G 情報通信システムの開発」に提案して採択されたものです。

生成 AI などの基盤モデルと呼ばれる AI 技術は様々な分野で活用が進み、これからの社会・産業を支え
るインフラ技術としてさらなる進化が求められています。日本国内に最先端の生成 AI 開発技術を確保
し、国産で日本語対応能力の高い基盤モデルを開発することは、日本特有の課題や文化への対応、カス
タマイズによる高度なサービス・製品の開発に重要であり、日本の産業のイノベーションの促進と、国
際競争力の向上に寄与することが期待されています。

このたび PFE は、経済産業省及び NEDO が開始する、国内の生成 AI の開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受け、これまで開発した 130 億パラメータ*を大きく上回る 1000 億パラメータのマルチモーダル基盤モデルの開発を行います。また、世界的にも大規模な 1 兆パラメータの大規模言語モデルの事前学習の検証も実施します。

本助成事業で得られた成果物は、安全性などを検証したうえで、1000 億パラメータのモデルのウェイ
トやファインチューニング用コード、学習課題やノウハウを、GENIAC の基盤モデル開発事業者コミュ
ニティや講演などを通じて公開する予定です。また、PFE は、複数の企業や行政機関と 2024 年中の利
用開始に向けた議論を始めており、商用化に向けた準備を進めていきます。

PFE は本助成事業を通じて、日本全体の AI 開発力の向上と技術の蓄積、イノベーションの促進に貢献していきます。

 研究開発項目:ポスト 5G 情報通信システムの開発(助成)
 研究開発テーマ:(g3)競争力ある生成 AI 基盤モデルの開発
 期間:2024 年 2 月 15 日~2024 年 8 月 15 日(予定)
 研究実施内容:100B/1T パラメータからなる大規模マルチモーダル基盤モデルの構築
1.1000 億パラメータのマルチモーダル基盤モデルの開発
・事前学習と追加学習
・指示学習
・画像モーダル向けの事前学習と追加学習
・音声モーダル向けの追加学習
2.1 兆パラメータの大規模言語モデルの事前学習の検証
3.成果物の公開
・事前学習済み 1000 億パラメータモデルのウェイトとファインチューニング用ソースコードの公開
・マルチモーダル化および 1 兆パラメータモデルの学習課題やその解決法の公開
・コミュニティへの参加

*:日英 2 言語対応の大規模言語モデル PLaMo-13B を研究・商用利用可能なオープンソースソフトウェアライセンスで公開(Preferred Networks、2023 年 9 月 28 日)

株式会社 Preferred Elements について
生成 AI をはじめとする AI 技術の実用化を進める株式会社 Preferred Networks(以下、PFN)の子会社と
して 2023 年 11 月に創業。PFN が 2023 年 9 月に公開した 130 億パラメータの大規模言語モデル PLaMo13B の開発メンバーが在籍しています。PFE は、PFN グループが蓄積した大規模分散学習や深層学習のノウハウを活用し、より大規模で日本語性能の高い言語モデルや、テキスト、画像、音声、センサ値など様々など種類のデータを扱えるマルチモーダル基盤モデルの開発を行い、日本の産業の技術革新に貢献していきます。

参考情報:
本公募「ポスト 5G 情報通信システム基盤強化研究開発事業
「ポスト 5G 情報通信システム基盤強化研究開発事業」の公募を開始します(2023 年 11 月 10 日)

引用

Preferred Elements、NEDOの採択を受け、1000億パラメータのマルチモーダル基盤モデルの開発と、1兆パラメータの大規模言語モデルの事前学習の検証を開始 - 株式会社Preferred Networks
株式会社Preferred Networksの子会社である株式会社Preferred Elements(PFE)が、経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)が開始する、国内の生成AIの

AI・DX・LowCodeなど企業に役立つ情報を発信しています。

タイトルとURLをコピーしました