2025年1月30日、Sakana AIは、新たな知識蒸留手法「TAID（Temporally Adaptive Interpolated Distillation）」を活用し、高性能な小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。本モデルは、日本語ベンチマークにおいて同規模のモデルを上回る性能を発揮し、PCやスマートフォンなどのエッジデバイスでのローカル実行が可能です。
LLMの課題を克服する新手法「TAID」
大規模言語モデル（LLM）は、高度な対話やコーディングなど多彩なタスクに対応できる一方、学習や運用に膨大な計算資源を要するという課題があります。こうした問題を解決するために開発されたのが「TAID」です。TAIDは、LLMの知識を小規模な言語モデル（SLM）へと効率的に転移させる新しい知識蒸留手法で、学習過程に応じて段階的に知識を蒸留することで、より軽量なモデルを構築できます。
日本語SLM「TinySwallow-1.5B」の性能
Sakana AIは、TAIDを用いて32B（320億）パラメータのLLMから1.5B（15億）パラメータのSLMへ知識を転移し、「TinySwallow-1.5B」を開発しました。その結果、日本語の言語モデルベンチマークで同程度の規模のモデルを上回るスコアを記録。さらにモデルが軽量であるため、PCやスマートフォン上でのオフライン実行にも対応しています。
また、ウェブアプリ「TinySwallow ChatUI」では、ブラウザ上で「TinySwallow-1.5B」を利用でき、外部APIを介さず完全オフラインでの会話が可能です。さらに、Pythonベースのローカル実行版「TinySwallow ChatUI Local」も公開されており、ネットワーク接続なしで動作します。
https://pub.sakana.ai/tinyswallow
ローカル実行が可能なアプリとモデル公開
より詳しい情報は、以下のページで公開されています。
https://pub.sakana.ai/tinyswallow
Sakana AIは、Hugging Face Hub上で「TinySwallow-1.5B」に加えて、指示学習を施した「TinySwallow-1.5B-Instruct」も公開しています。
さらに、モデルの重みを含むself-contained版のウェブアプリも用意されており、ネットワーク接続を一切必要とせずローカル環境のみでチャットが可能です。Pythonベースのシンプルなインターフェースを備えているため、端末に直接モデルを読み込み、完全にオフラインの状態で小型言語モデルとのやりとりが楽しめます。
小型モデルがもたらす応用例
小規模ながら高性能を実現しているTinySwallowは、以下のような分野で幅広く活用が期待されています。
- プライベートAIアシスタント
社内文書や個人メモを学習データに用いることで、その人だけのカスタマイズされたAIアシスタントを構築可能。 - ローカルで完結するAI業務支援
重要なデータを一切外部に送信せず、オフライン環境で安全にAIを活用。 - オフラインゲームのAIキャラクター
軽量なモデルを活かし、ネット接続が不要なゲーム内で自然な会話や動作を実現。 - 小型AIエージェントの開発
エッジデバイスや組み込みシステムに搭載し、リアルタイムに高精度な言語処理を行えるエージェントを開発。
TinySwallow-1.5Bは、小規模モデルでありながら高い日本語処理性能を発揮し、さらにオフライン環境での実行に対応している点が大きな特徴です。今後もTAIDをはじめとする革新的技術の進化により、エッジデバイス上でのAI活用は一段と拡大していくことが期待されます。
引用
