Chat With RTX 為 NVIDIA RTX AI PC 信息定制聊天機器人

admin • 2024年2月19日 pm12:32 • 遊戲新聞

這個技術展示Demo讓任何擁有 RTX GPU 的人都能享受強大的個人定制化的 GPT 聊天機器人。

February 13, 2024 by Jesse Clayton

在基於 NVIDIA GPU 的雲端服務器支持下,全球每天有數百萬人使用聊天機器人。現在這些開創性的工具將出現在搭載 NVIDIA RTX的 Windows PC 上,以實現本地、快速、信息定制的生成式AI。

Chat with RTX 技術演示版,現已開放免費下載,用戶可在搭載 NVIDIA GeForce RTX 30 系列或更高版本的 GPU(至少 8GB顯存)進行本地部署,打造個人專屬聊天機器人。

問我一切

Chat with RTX 借助檢索增強生成(RAG)、NVIDIA TensorRT-LLM 軟件及 NVIDIA RTX 加速技術,將生成式AI功能引入由GeForce 賦能的本地 Windows PC。用戶可快速輕松地將桌面端上的資料當成數據集,連接到 Mistral 或 Llama 2 這一類開源大型語言模型,以便快速查詢與上下文有關的內容。

https://www.youtube.com/watch?v=gdsRJZT3IJw

用戶隻要輸入查詢內容即可,無需搜尋筆記或儲存的內容。例如用戶可以問:「我的合作夥伴推薦拉斯維加斯的哪傢餐廳?」Chat with RTX 工具就會掃描用戶指向的桌面端資料,並且按照上下文提供答案。

Chat with RTX 工具支持包括 .txt、.pdf、.doc/.docx 和 .xml 在內的多種文件格式。將應用程序指向含有這些資料的文件夾,Chat with RTX 工具就會在幾秒鐘內將它們載入到資料庫中。

用戶還能加入 YouTube 視頻和播放列表裡的信息。在 Chat with RTX 裡加入視頻網址,用戶便能將這些知識與聊天機器人進行整合,進行上下文查詢。例如根據最喜歡的旅遊KOL所發佈的視頻內容來詢問推薦的旅遊內容,或是按照頂尖教育資源獲取快速教學和操作方法。

Chat with RTX 可以將 YouTube 影片內容的知識加入查詢結果。

Chat with RTX 可以在 Windows RTX PC 和工作站上以本地部署的方式運行,再加上用戶的數據還是保留在本地設備裝置上,因此能夠快速提供查詢結果。與依賴雲端環境的 LLM 服務不同,Chat with RTX 讓用戶能夠在 PC 桌面端處理敏感資料,無需分享給第三方或是連接到網絡。

除瞭需要配備 GeForce RTX 30 系列或更高版本的 GPU (至少 8GB 顯存),使用 Chat with RTX 還需要搭配操作系統 Windows 10 或 11 和最新的 NVIDIA GPU 驅動。

編註:目前 Chat with RTX 中存在一個問題,用戶選擇不同的安裝目錄時,會造成安裝失敗。我們將在日後的版本中修復這個問題。目前用戶應使用默認的安裝目錄(「C:Users\AppDataLocalNVIDIAChatWithRTX」)。

使用 RTX 開發以 LLM 為基礎的應用

Chat with RTX 展現出利用 RTX GPU 加速 LLM 的潛力。這款應用使用 GitHub 上的 TensorRT-LLM RAG 開發者參考項目構建而成。開發者可以使用該參考項目,為 RTX 開發和部署私人以 RAG 為基礎的應用,並且由 TensorRT-LLM 進行加速。深入瞭解如何建立以 LLM 為基礎的應用。

深入瞭解 Chat with RTX。

Chat With RTX 為 NVIDIA RTX AI PC 信息定制聊天機器人

相關推薦