Cum să utilizați chat-ul Nvidia cu RTX AI Chatbot pe computer

Recomandări cheie

  • Nvidia Chat with RTX este un chatbot AI care rulează local pe computer, folosind TensorRT-LLM și RAG pentru răspunsuri personalizate.
  • Instalarea Chat cu RTX are următoarele cerințe minime: un GPU RTX, 16 GB RAM, 100 GB spațiu de stocare și Windows 11.
  • Utilizați Chat cu RTX pentru a configura fișiere pentru RAG, pentru a pune întrebări, pentru a analiza videoclipuri YouTube și pentru a asigura securitatea datelor.
VIDEO MUO AL ZILEI Derulați PENTRU A CONTINUA CU CONȚINUT

Nvidia a lansat Chat with RXT, un chatbot AI care funcționează pe computerul tău și oferă funcții similare cu ChatGPT și multe altele! Tot ce aveți nevoie este un GPU Nvidia RTX și sunteți gata să începeți să utilizați noul chatbot AI al Nvidia.

Ce este Nvidia Chat cu RTX?

Nvidia Chat cu RTX este un software AI care vă permite rulați un model de limbă mare (LLM) local pe computer. Așadar, în loc să intrați online pentru a utiliza un chatbot AI precum ChatGPT, puteți utiliza Chat cu RTX offline oricând doriți.

Chat-ul cu RTX folosește TensorRT-LLM, accelerarea RTX și un Mistral 7-B LLM cuantificat pentru a oferi performanță rapidă și răspunsuri de calitate la egalitate cu alți chatbot online AI. De asemenea, oferă generare de recuperare augmentată (RAG), permițând chatbot-ului să citească fișierele dvs. și să activeze răspunsuri personalizate pe baza datelor pe care le furnizați. Acest lucru vă permite să personalizați chatbot-ul pentru a oferi o experiență mai personală.

Dacă doriți să încercați Nvidia Chat cu RTX, iată cum să îl descărcați, să îl instalați și să îl configurați pe computer.

Cum să descărcați și să instalați Chat cu RTX

Chat cu pagina web oficială RTX

Nvidia a făcut rularea unui LLM local pe computerul dvs. mult mai ușoară. Pentru a rula Chat cu RTX, trebuie doar să descărcați și să instalați aplicația, așa cum ați face cu orice alt software. Cu toate acestea, Chat with RTX are anumite cerințe minime de specificație pentru a instala și utiliza corect.

  • GPU RTX seria 30 sau seria 40
  • 16 GB RAM
  • 100 GB spațiu de memorie liber
  • Windows 11

Dacă computerul dvs. trece cerințele minime de sistem, puteți continua și instala aplicația.

  • Pasul 1: Descărcați fișierul Chat cu RTX ZIP.
  • Pasul 2: Extrageți fișierul ZIP făcând clic dreapta și selectând un instrument de arhivare a fișierelor precum 7Zip sau făcând dublu clic pe fișier și selectând Extrage tot.
  • Pasul 3: Deschideți folderul extras și faceți dublu clic setup.exe. Urmați instrucțiunile de pe ecran și bifați toate casetele în timpul procesului de instalare personalizată. După lovire Următorul​​​​​​, programul de instalare va descărca și instala LLM și toate dependențele.
    Procesul de instalare a Chat cu RTX

Instalarea Chat cu RTX va dura ceva timp pentru a se finaliza, deoarece descarcă și instalează o cantitate mare de date. După procesul de instalare, apăsați Închide, și ai terminat. Acum, este timpul să încerci aplicația.

Cum să utilizați Nvidia Chat cu RTX

Deși puteți utiliza Chat cu RTX ca un chatbot online obișnuit, vă sugerez să verificați funcționalitatea RAG, care vă permite să-i personalizați rezultatul în funcție de fișierele la care acordați acces.

Pasul 1: Creați dosarul RAG

Pentru a începe să utilizați RAG în Chat cu RTX, creați un folder nou pentru a stoca fișierele pe care doriți să le analizeze AI.

După creare, plasați fișierele de date în folder. Datele pe care le stocați pot acoperi multe subiecte și tipuri de fișiere, cum ar fi documente, PDF-uri, text și videoclipuri. Cu toate acestea, poate doriți să limitați numărul de fișiere pe care le plasați în acest folder pentru a nu afecta performanța. Mai multe date de căutat înseamnă că chatul cu RTX va dura mai mult pentru a returna răspunsuri pentru anumite interogări (dar acest lucru depinde și de hardware).

Creați un folder de date pentru RAG

Acum baza de date este gata, puteți configura Chat cu RTX și puteți începe să o utilizați pentru a vă răspunde la întrebări și întrebări.

Pasul 2: Configurați mediul

Deschide Chat cu RTX. Ar trebui să arate ca imaginea de mai jos.

Chat cu interfața web RTX

Sub Setul de dateasigurați-vă că Calea folderului este selectată opțiunea. Acum faceți clic pe pictograma de editare de mai jos (pictograma creion) și selectați folderul care conține toate fișierele pe care doriți să le citească Chat cu RTX. De asemenea, puteți schimba modelul AI dacă sunt disponibile alte opțiuni (la momentul scrierii, este disponibil doar Mistral 7B).

Acum sunteți gata să utilizați Chat cu RTX.

Pasul 3: Adresați-vă întrebările prin chat cu RTX!

Există mai multe moduri de a interoga Chat cu RTX. Prima este să-l folosești ca pe un chatbot AI obișnuit. Am întrebat Chat cu RTX despre beneficiile utilizării unui LLM local și am fost mulțumit de răspunsul acestuia. Nu a fost enorm de aprofundat, dar suficient de precis.

Folosind Chat cu RTX ca un chatbot obișnuit

Dar, deoarece Chat cu RTX este capabil de RAG, îl puteți folosi și ca asistent personal AI.

Pune întrebări personale Chat cu RTX

Mai sus, am folosit Chat cu RTX pentru a întreba despre programul meu. Datele provin dintr-un fișier PDF care conține programul meu, calendarul, evenimentele, munca și așa mai departe. În acest caz, Chat cu RTX a extras datele corecte ale calendarului din date; va trebui să păstrați fișierele de date și datele calendaristice actualizate pentru ca funcții ca aceasta să funcționeze corect până când există integrări cu alte aplicații.

Există multe moduri în care poți folosi chatul cu RAG RTX în avantajul tău. De exemplu, îl puteți folosi pentru a citi documentele juridice și pentru a oferi un rezumat, pentru a genera cod relevant pentru programul pe care îl dezvoltați, pentru a obține momente importante despre un videoclip pe care sunteți prea ocupat să îl vizionați și multe altele!

Pasul 4: Caracteristica bonus

Pe lângă folderul local de date, puteți utiliza Chat cu RTX pentru a analiza videoclipurile YouTube. Pentru a face asta, sub Setul de dateschimba Calea folderului la URL YouTube.

Setați calea datelor pentru YouTube

Copiați adresa URL YouTube pe care doriți să o analizați și inserați-o sub meniul drop-down. Atunci cere departe!

Utilizarea Chat cu RTX pentru a rezuma un videoclip YouTube

Chatul cu analiza video YouTube de la RTX a fost destul de bun și a furnizat informații precise, așa că ar putea fi util pentru cercetare, analiză rapidă și multe altele.

Chatul Nvidia cu RTX este bun?

ChatGPT oferă funcționalitate RAG. Unii chatbot AI locali au cerințe de sistem semnificativ mai mici. Deci, merită folosit Nvidia Chat cu RTX?

Raspunsul este da! Chatul cu RTX merită folosit în ciuda concurenței.

Unul dintre cele mai mari puncte de vânzare ale utilizării Nvidia Chat cu RTX este capacitatea sa de a utiliza RAG fără a trimite fișierele către un server terță parte. Personalizarea GPT-urilor prin servicii online vă poate expune datele. Dar, deoarece Chat with RTX rulează local și fără o conexiune la internet, utilizarea RAG pe Chat with RTX vă asigură că datele dvs. sensibile sunt în siguranță și sunt accesibile numai pe computer.

În ceea ce privește alte chatbot-uri AI care rulează local și rulează Mistral 7B, Chat cu RTX are performanțe mai bune și mai rapide. Deși o mare parte a creșterii performanței vine din utilizarea GPU-urilor de ultimă generație, utilizarea Nvidia TensorRT-LLM și accelerarea RTX a făcut rularea Mistral 7B mai rapidă pe Chat cu RTX în comparație cu alte moduri de a rula un LLM optimizat pentru chat.

Este de remarcat faptul că versiunea Chat cu RTX pe care o folosim în prezent este o demonstrație. Versiunile ulterioare ale Chat cu RTX vor deveni probabil mai optimizate și vor spori performanța.

Ce se întâmplă dacă nu am un GPU RTX seria 30 sau 40?

Chat cu RTX este o modalitate ușoară, rapidă și sigură de a rula un LLM la nivel local, fără a fi nevoie de o conexiune la internet. Dacă sunteți, de asemenea, interesat să rulați un LLM sau local, dar nu aveți un GPU RTX 30 sau 40 Series, puteți încerca alte modalități de a rula un LLM local. Două dintre cele mai populare ar fi GPT4ALL și Text Gen WebUI. Încercați GPT4ALL dacă doriți o experiență plug-and-play care rulează local un LLM. Dar dacă sunteți puțin mai înclinat din punct de vedere tehnic, rularea LLM-urilor prin Text Gen WebUI vă va oferi o mai bună reglare fină și flexibilitate.

Va invit sa cititi si articolele de mai jos pe langa acestea care sunt cele mai recente

Lasa un comentariu