NVIDIAは自分のPCでLLMを動かせる「Chat with RTX」を公開

ChatGPT

NVIDIA社は、RTX GPUを搭載したPCユーザーに向けて、パーソナライズされたGPTチャットボットを提供する新たなテックデモ「Chat with RTX」を発表しました。
このテックデモは2024年2月13日に紹介され、現在無料でダウンロード可能です。


NVIDIA社は今回の発表で「世界中で毎日何百万人もの人々が使用するチャットボットは、従来NVIDIAのGPUベースのクラウドサーバーによって支えられていました。
しかし、この新しい取り組みにより、ローカルで高速なカスタム生成AIが、NVIDIA RTXを搭載したWindows PCにもたらされます。」とコメントしています。

動作条件としてローカルで動作するNVIDIA GeForce RTX 30/40シリーズGPU以上、および最低8GBのVRAMを備えたシステムが必要になります。

「Chat with RTX」では、ユーザーは自分のコンテンツでチャットボットをカスタマイズできます。
例えば、ユーザーが「ラスベガスにいる間にパートナーが推薦したレストランは?」と質問すると、「Chat with RTX」は指定されたローカルファイルをスキャンし、文脈に沿った答えを提供します。このツールは、.txt、.pdf、.doc/.docx、.xmlなどの多様なファイル形式に対応しています。また、YouTube動画やプレイリストからの情報をチャットボットに統合することも可能です。

「Chat with RTX」は、Windows RTX PCおよびワークステーションでローカルに動作するため、提供される結果は迅速であり、ユーザーのデータはデバイス上に留まります。これにより、クラウドベースのLLMサービスに依存せずに、ユーザーは感度の高いデータをローカルPCで処理でき、第三者との共有やインターネット接続の必要がありません。

引用

Chat with RTX Now Free to Download | NVIDIA Blog
New tech demo gives anyone with an NVIDIA RTX GPU the power of a personalized GPT chatbot, running locally on their Wind...

AI・DX・LowCodeなど企業に役立つ情報を発信しています。

タイトルとURLをコピーしました