För att köra en lokal LLM har du LM Studio, men den stöder inte inmatning av lokala dokument. Det finns GPT4ALL, men jag tycker att det är mycket tyngre att använda och PrivateGPT har ett kommandoradsgränssnitt som inte är lämpligt för vanliga användare. Så kommer AnythingLLM, i ett snyggt grafiskt användargränssnitt som låter dig mata dokument lokalt och chatta med dina filer, även på datorer av konsumentklass. Jag använde det flitigt och fann AnythingLLM mycket bättre än andra lösningar. Så här kan du använda den.
Notera:
AnythingLLM körs också på budgetdatorer och utnyttjar både CPU och GPU. Jag testade den på en Intel i3 10:e generationens processor med en low-end Nvidia GT 730 GPU. Som sagt, tokengenerering kommer att gå långsamt. Om du har en kraftfull dator skulle den vara mycket snabbare att generera utdata.
Ladda ner och ställ in AnythingLLM
- Varsågod och ladda ner AnythingLLM från här. Det är fritt tillgängligt för Windows, macOS och Linux.
- Nästa, kör installationsfilen och det kommer att installera AnythingLLM. Denna process kan ta lite tid.
- Efter det klickar du på ”Kom igång” och scrollar ner till välj en LLM. Jag har valt ”Mistral 7B”. Du kan ladda ner ännu mindre modeller från listan nedan.
- Välj sedan ”AnythingLLM Embedder” eftersom det inte kräver någon manuell inställning.
- Efter det väljer du ”LanceDB” som är en lokal vektordatabas.
- Slutligen, granska dina val och fyll i informationen på nästa sida. Du kan också hoppa över undersökningen.
- Nu, ange ett namn för din arbetsplats.
- Du är nästan klar. Du kan se att Mistral 7B håller på att vara laddas ner i bakgrunden. När LLM har laddats ner, gå till nästa steg.
Ladda upp dina dokument och chatta lokalt
- Först av allt, klicka på ”Ladda upp ett dokument”.
- Klicka nu för att ladda upp din fil eller dra och släpp dem. Du kan ladda upp alla filformat inklusive PDF, TXT, CSV, ljudfiler, etc.
- Jag har laddat upp en TXT-fil. Välj nu den uppladdade filen och klicka på ”Flytta till Workspace”.
- Klicka sedan på ”Spara och bädda in”. Stäng sedan fönstret.
- Du kan nu börja chatta med dina dokument lokalt. Som du kan se ställde jag en fråga från TXT-filen, och den gav ett korrekt svar med hänvisning till textfilen.
- Jag ställde ytterligare några frågor, och det svarade korrekt.
- Det bästa är att du också kan lägga till en webbadress och det kommer att hämta innehållet från webbplatsen. Du kan nu börja chatta med LLM.
Så detta är hur du kan mata in dina dokument och filer lokalt och chatta med LLM säkert. Du behöver inte ladda upp dina privata dokument på molnservrar som har skissartade sekretesspolicyer. Nvidia har lanserat ett liknande program som heter Chat with RTX, men det fungerar bara med avancerade Nvidia GPU:er. AnythingLLM ger lokala slutsatser även på datorer av konsumentklass, och drar fördel av både CPU och GPU på vilket kisel som helst.
Stöd vårt arbete ❤️
Om du gillade den här artikeln, överväg att lämna dricks för att hjälpa oss fortsätta publicera bra innehåll.
