Ända sedan den omvälvande lanseringen av ChatGPT har datorvärlden väntat på en lokal AI-chatbot som kan köras frånkopplad från molnet. Nvidia har nu ett svar med Chat with RTX, som är en lokal AI-chatbot som låter dig utnyttja en AI-modell för att skumma igenom dina offlinedata.
I den här guiden visar vi dig hur du ställer in och använder Chat med RTX. Det här är bara en demo, så förvänta dig några buggar när du arbetar med verktyget. Men förhoppningsvis kommer det att öppna dörren till fler lokala AI-chatbotar och andra lokala AI-verktyg.
Hur man laddar ner Chat med RTX
Det första steget är att ladda ner och konfigurera Chat med RTX, vilket faktiskt är lite mer komplicerat än du kanske förväntar dig. Allt du behöver göra är att köra ett installationsprogram, men installationsprogrammet är benäget att misslyckas och du måste uppfylla vissa minimisystemkrav.
Du behöver en RTX 40-serie eller 30-serie GPU med minst 8 GB VRAM, tillsammans med 16 GB system-RAM, 100 GB diskutrymme och Windows 11.
Steg 1: Ladda ner installationsprogrammet Chat with RTX från Nvidias hemsida. Den här komprimerade mappen är på 35 GB, så det kan ta ett tag att ladda ner.
Steg 2: När den är klar med nedladdningen högerklickar du på mappen och väljer Extrahera allt.
Jacob Roach / Moyens I/O
Få din veckovisa nedbrytning av tekniken bakom PC-spel
Steg 3: I mappen hittar du ett par filer och mappar. Välja setup.exe och gå igenom installationsprogrammet.
Steg 4: Innan installationen börjar kommer installationsprogrammet att fråga var du vill lagra Chat med RTX. Se till att du har minst 100 GB diskutrymme på den plats du väljer, eftersom Chat with RTX faktiskt laddar ner AI-modellerna.
Jacob Roach / Moyens I/O
Steg 5: Installationsprogrammet kan ta upp till 45 minuter att slutföra, så oroa dig inte om du ser det hänga en kort stund. Det kan också sakta ner din dator, särskilt när du konfigurerar AI-modellerna, så vi rekommenderar att du kliver bort ett ögonblick medan installationen är klar.
Steg 6: Installationen kan misslyckas. Om det gör det, kör bara om installationsprogrammet och välj samma plats för data som tidigare. Installationsprogrammet kommer att fortsätta där det slutade.
Steg 7: När installationsprogrammet är klart får du en genväg till Chatta med RTX på ditt skrivbord och appen öppnas i ett webbläsarfönster.
Hur man använder Chatt med RTX med dina data
Det stora draget med att chatta med RTX är att du kan använda din egen data. Den använder något som kallas retrieval-augmented generation, eller RAG, för att bläddra igenom dokument och ge dig svar baserat på dessa dokument. Istället för att svara på alla frågor är Chat with RTX bra på att svara på specifika frågor om en viss uppsättning data.
Nvidia innehåller några exempeldata så att du kan prova verktyget, men du måste lägga till din egen data för att låsa upp den fulla potentialen hos Chat med RTX.
Steg 1: Skapa en mapp där du ska lagra din datauppsättning. Notera platsen, eftersom du måste peka Chat med RTX mot den mappen. För närvarande stöder Chatta med RTX .txt-, .pdf- och .doc-filer.
Steg 2: Öppna Chatt med RTX och välj pennikonen i Datauppsättning avsnitt.
Jacob Roach / Moyens I/O
Steg 3: Navigera till mappen där du lagrade din data och välj den.
Steg 4: I Chatta med RTX, välj uppdateringsikonen i Datauppsättning avsnitt. Detta kommer att regenerera modellen baserat på de nya uppgifterna. Du vill uppdatera modellen varje gång du lägger till ny data i mappen eller väljer en annan datauppsättning.
Jacob Roach / Moyens I/O
Steg 5: Med dina data tillagda väljer du den modell du vill använda i AI-modellsektionen. Chatta med RTX inkluderar Llama 2 och Mistral, där den senare är standard. Experimentera med båda, men för nya användare är Mistral bäst.
Steg 6: Därifrån kan du börja ställa frågor. Nvidia noterar att Chatta med RTX inte tar hänsyn till sammanhanget, så tidigare svar påverkar inte framtida svar. Dessutom kommer specifika frågor i allmänhet att ge bättre resultat än allmänna frågor. Slutligen noterar Nvidia att Chatta med RTX ibland refererar till fel data när du ger ett svar, så tänk på det.
Steg 7: Om Chatt med RTX slutar fungera och en omstart inte löser det, säger Nvidia att du kan ta bort filen preferences.json för att lösa problemet. Denna ligger kl C:\Users\\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
Hur man använder Chat med RTX med YouTube
Förutom din egen data kan du använda Chat med RTX med YouTube-videor. AI-modellen följer transkriptionen från en YouTube-video, så det finns några naturliga begränsningar.
För det första ser AI-modellen inget som inte ingår i utskriften. Du kan till exempel inte fråga hur någon ser ut i en video. Dessutom är YouTube-transkriptioner inte alltid perfekta. I videor med stökiga transkriptioner kanske du inte får de svar du vill ha.
Steg 1: Öppna Chatt med RTX och i Datauppsättning väljer du rullgardinsmenyn och väljer YouTube.
Steg 2: I fältet nedan klistrar du in en länk till en YouTube-video eller en spellista. Bredvid det här fältet hittar du ett nummer som anger det maximala antalet avskrifter du vill ladda ner.
Jacob Roach / Moyens I/O
Steg 3: Välj nedladdningsknappen bredvid det här fältet och vänta tills utskrifterna har laddats ned. När de är klara klickar du på uppdateringsknappen.
Steg 4: När utskriften är klar kan du chatta precis som du gjorde med din egen data. Specifika frågor är bättre än allmänna frågor, och om du chattar om flera videor kan Chatta med RTX få referensen fel om din fråga är för allmän.
Steg 5: Om du vill chatta om en ny uppsättning videor måste du manuellt radera de gamla transkriptionerna. Du hittar en knapp för att öppna ett Explorer-fönster bredvid uppdateringsknappen. Gå dit och ta bort transkriptionerna om du vill chatta om andra videor.
Stöd vårt arbete ❤️
Om du gillade den här artikeln, överväg att lämna dricks för att hjälpa oss fortsätta publicera bra innehåll.
