Chat with RTX是什么？
Chat with RTX 是 NVIDIA 推出的本地部署的AI聊天機器人，專為Windows個人電腦設計。利用 GPT 大型語言模型和檢索增強生成（RAG）技術，允許用戶個性化連接到自己內容的 AI 聊天機器人。通過結合 TensorRT-LLM 和 RTX 加速，用戶可以快速獲取相關上下文的答案，實現高效的交互體驗。
Chat with RTX 支持多種文件格式，包括文本、pdf、doc / docx 和 xml。只需將應用程序指向包含文件的文件夾，它就會在幾秒鐘內將它們加載到庫中。此外，用戶還可以提供 YouTube 播放列表的 URL，該應用程序將加載播放列表中視頻的轉錄，使用戶能夠查詢它們涵蓋的內容。
官方介紹視頻：
Chat with RTX的主要功能特性
- 個性化 AI 聊天機器人：用戶可以與連接到其數據的定制聊天機器人進行交互，獲得個性化的回復和解決方案。
- 支持多款開源模型：支持Mistral和Llama 2兩款開源LLM，用戶可以根據喜好自行選擇。
- 檢索增強生成（RAG）：利用 RAG 技術生成基于上下文的響應，提供更準確和相關的答案。
- 本地運行與數據隱私：?Chat with RTX完全在個人電腦上運行，不需要上傳數據至云端，保護用戶的數據隱私和安全，與基于云的服務相比，更受用戶青睞。
- 高效處理文件數據：?無論是PDF文件、內部文件還是其他格式的文檔，Chat with RTX都能快速準確地提取關鍵信息，讓用戶在幾秒鐘內找到所需內容，極大地提升了工作效率。
- 快速搜索和分析視頻內容：?通過輸入YouTube視頻鏈接，Chat with RTX能夠快速搜索特定提及或總結整個視頻，為記者等需要分析大量視頻的用戶提供了巨大便利。
- 開發者支持：開發人員可以利用 TensorRT-LLM RAG 開發者參考項目，創建自己基于 RAG 技術的應用程序，拓展應用場景和功能。
Chat with RTX的應用場景
- 個性化客戶服務：企業可以利用 Chat with RTX 創建定制化的 AI 聊天機器人，提供個性化的客戶服務和支持。
- 知識庫查詢：用戶可以利用應用程序快速查詢知識庫中的信息，獲取準確的答案和解決方案。
- 教育和培訓：教育機構和企業可以利用 Chat with RTX 提供在線教育和培訓服務，為學生和員工提供個性化的學習體驗。
- 技術支持：IT 公司和服務提供商可以使用該應用程序為客戶提供快速和準確的技術支持，解決常見問題和疑問。
- 研究和開發：研究人員和開發人員可以利用開發者支持功能，探索和開發基于 RAG 技術的新型應用程序，推動人工智能領域的創新發展。
通過 NVIDIA Chat with RTX，用戶可以體驗到個性化、高效和安全的 AI 聊天機器人交互，滿足不同領域的需求和應用場景。
如何使用Chat with RTX？
Chat with RTX支持Windows 11系統，需要下載（文件大小35.1G）到本地安裝使用，需要8GB顯存的NVIDIA RTX 30或40系列顯卡。
切記，先確定自己的系統是否支持，不然白白浪費時間下載。
系統要求如下：
Chat with RTX官網入口：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
Chat with RTX下載地址：https://us.download.nvidia.com/RTX/NVIDIA_ChatWithRTX_Demo.zip
下載后按照提示安裝即可在本地運行使用了。
另外，開發人員可以利用 TensorRT-LLM RAG 開發者參考項目，創建自己基于 RAG 技術的應用程序，拓展應用場景和功能。
GitHub地址：https://github.com/NVIDIA/trt-llm-rag-windows
