Nvidia yang merupakan salah satu pabrikan hardware terkemuka, telah mengumumkan peluncuran aplikasi chatbot berbasis kecerdasan buatan (artificial intelligence/AI) untuk komputer (PC) yang diberi nama “Chat with RTX“.
Aplikasi ini bertindak sebagai asisten pribadi digital yang dapat membantu pengguna dalam merangkum dokumen dan video YouTube, serta memberikan rekomendasi tempat wisata atau tutorial berdasarkan permintaan pengguna.
Cara kerja aplikasi ini sangat sederhana. Pengguna dapat mengunggah dokumen dalam format .txt, .pdf, .doc/.docx, atau .xml ke PC mereka dan meminta Chat with RTX untuk merangkumnya.
Misalnya, pengguna bisa mengunggah file meeting dan kemudian bertanya, “Apa nama tempat yang direkomendasikan rekan kerja saya?” Chatbot ini akan mencari jawaban dari dokumen tersebut secara langsung, membebaskan pengguna dari proses mencari manual.
Selain merangkum dokumen, Chat with RTX juga dapat merangkum video YouTube yang diberikan dalam bentuk tautan. Pengguna dapat menanyakan hal-hal spesifik seperti, “Apa saja GPU yang diumumkan Nvidia di Consumer Electronics Show (CES) 2024?” Tanpa harus menonton video resminya yang berdurasi hingga 30 menit.
Aplikasi ini menggunakan teknologi retrieval augmented generation (RAG) dan software Nvidia TensorRT-LLM, yang didukung oleh unit pengolah grafis (GPU) Nvidia RTX 30 atau 40 series.
Pengguna membutuhkan PC dengan spesifikasi tertentu, termasuk GPU dengan VRAM 8 GB, RAM 16 GB, sistem operasi Windows 10 atau 11, dan driver GPU Nvidia terbaru (versi 535.11 atau lebih baru). Media penyimpanan minimal yang diperlukan adalah 35 GB.
Menariknya, Chat with RTX berjalan langsung di PC atau workstation Nvidia RTX, sehingga data pengguna hanya disimpan di perangkat tersebut dan tidak mengandalkan LLM berbasis cloud. Hal ini memungkinkan pengguna untuk memproses data sensitif di PC tanpa harus membagikannya ke pihak ketiga. Selain itu, tidak diperlukan koneksi internet saat menggunakan aplikasi ini.
Meskipun masih bersifat demo, Chat with RTX bisa diunduh secara gratis oleh pengguna yang memenuhi spesifikasi minimum. Namun, ada beberapa catatan dari media teknologi yang menyebutkan bahwa aplikasi ini masih perlu penyempurnaan, terutama terkait atribusi sumber yang tidak selalu akurat dan keterbatasan dalam mengingat konteks pembicaraan.
Secara keseluruhan, meskipun masih ada beberapa kekurangan, Chat with RTX menunjukkan potensi besar sebagai chatbot AI yang berjalan secara lokal di komputer pengguna.
Hadirnya teknologi dan layanan ini merupakan langkah inovatif dari Nvidia dalam menyediakan solusi AI yang lebih efisien dan aman bagi pengguna PC mereka.
Sumber: Nvidia Blog
