NVIDIA社は、RTX GPUを搭載したPCユーザーに向けて、パーソナライズされたGPTチャットボットを提供する新たなテックデモ「Chat with RTX」を発表しました。
このテックデモは2024年2月13日に紹介され、現在無料でダウンロード可能です。
NVIDIA社は今回の発表で「世界中で毎日何百万人もの人々が使用するチャットボットは、従来NVIDIAのGPUベースのクラウドサーバーによって支えられていました。
しかし、この新しい取り組みにより、ローカルで高速なカスタム生成AIが、NVIDIA RTXを搭載したWindows PCにもたらされます。」とコメントしています。
動作条件としてローカルで動作するNVIDIA GeForce RTX 30/40シリーズGPU以上、および最低8GBのVRAMを備えたシステムが必要になります。
このプラットフォームは、検索拡張生成 (RAG)、NVIDIA TensorRT-LLMソフトウェア、そしてNVIDIA RTXアクセラレーションを駆使し、ローカルで動作するGeForce搭載のWindows PCに生成AIの能力を提供します。
ユーザーは、PC上のローカルファイルをデータセットとして大規模言語モデルに簡単に接続し、迅速で文脈に適した回答を得ることができます。
「Chat with RTX」では、ユーザーは自分のコンテンツでチャットボットをカスタマイズできます。
例えば、ユーザーが「ラスベガスにいる間にパートナーが推薦したレストランは？」と質問すると、「Chat with RTX」は指定されたローカルファイルをスキャンし、文脈に沿った答えを提供します。このツールは、.txt、.pdf、.doc/.docx、.xmlなどの多様なファイル形式に対応しています。また、YouTube動画やプレイリストからの情報をチャットボットに統合することも可能です。
「Chat with RTX」は、Windows RTX PCおよびワークステーションでローカルに動作するため、提供される結果は迅速であり、ユーザーのデータはデバイス上に留まります。これにより、クラウドベースのLLMサービスに依存せずに、ユーザーは感度の高いデータをローカルPCで処理でき、第三者との共有やインターネット接続の必要がありません。
引用
