På Google I/O 2023 presenterade sökjätten äntligen PALM 2dess senaste stora språkmodell för allmänna ändamål. PaLM 2 är grunden på vilken flera Google-produkter nu byggs, inklusive Google Generative AI Search, Duet AI i Google Docs och Gmail, Google Bard och mer. Men vad är egentligen Google PaLM 2 AI-modellen? Är det bättre än GPT-4? Stöder den plugins? För att svara på alla dina frågor, gå igenom vår detaljerade beskrivning av PaLM 2 AI-modellen som släppts av Google.
Vad är Googles PaLM 2 AI-modell?
PaLM 2 är den senaste Large Language Model (LLM) släppt av Google som är mycket kapabel i avancerade resonemang, kodning och matematik. Den är också flerspråkig och stöder mer än 100 språk. PaLM 2 är en efterföljare till den tidigare Pathways Language Model (PaLM) som lanserades 2022.
Den första versionen av PaLM tränades på 540 miljarder parametrar, vilket gör den till en av de största LLM:erna som finns. Men 2023 kom Google med PaLM 2, som är mycket mindre i storlek, men den är snabbare och effektivare än konkurrenterna.
I PaLM 2:s Teknisk rapport på 92 sidorGoogle har inte nämnt parameterstorleken, men enligt en TechCrunch rapporteraen av PaLM 2-modeller tränas bara på 14,7 miljarder parametrarvilket är mycket mindre än PaLM 1 och andra konkurrenskraftiga modeller. Några forskare på Twitter säger att den största PaLM 2-modellen sannolikt tränas på 100 miljarder parametrar, vilket fortfarande är mycket lägre än konkurrenterna.
För att ge dig en idé sägs OpenAI:s GPT-4-modell vara tränad på 1 biljon parametrar, vilket bara är häpnadsväckande. GPT-4-modellen är minst 10 gånger större än PaLM 2.
Hur gjorde Google PaLM 2 mindre?
I den officiella bloggsäger Google att större inte alltid är bättre och att forskningskreativitet är nyckeln till att göra fantastiska modeller. Här, med ”forskningskreativitet”, syftar Google sannolikt på Reinforcement Learning from Human Feedback (RLHF), beräkningsoptimal skalningoch andra nya tekniker.
Google har inte avslöjat vilken forskningskreativitet de använder i PaLM 2, men det ser ut som att företaget kan använda LoRA (lågrankad anpassning)instruktionsinställning och kvalitetsdatauppsättningar för att få bättre resultat trots att man använder en relativt mindre modell.
Sammantaget är PaLM 2 en LLM-modell alltså snabbare, relativt mindre och kostnadseffektiv eftersom det tjänar färre parametrar. Samtidigt ger det möjligheter som sunt förnuftsresonemang, bättre logiktolkning, avancerad matematik, flerspråkig konversation, behärskning av kodning och mer. Det var grunderna i PaLM 2-modellen, nu ska vi gå vidare och lära oss om dess funktioner i detalj.
Vilka är höjdpunkterna i PaLM 2?
Som nämnts ovan är PaLM 2 snabbare, mycket effektiv och har en lägre serveringskostnad. Bortsett från det ger det flera avancerade funktioner. Till att börja med är PaLM 2 väldigt bra på sunt förnuftsresonemang. Google säger faktiskt att PaLM 2:s resonemangsförmåga är konkurrenskraftig med GPT-4. Testning i WinoGrande commonsense-testet fick PaLM 2 90,2 medan GPT-4 fick 87,5. I ARC-C-testet får GPT-4 ett snäpp högre och får 96,3 medan PaLM 2 får 95,1. I andra resonemangstester, inklusive DROP, StrategyQA, CSQA och några andra, överträffar PaLM 2 GPT-4.
Inte bara det, tack vare sin flerspråkiga förmåga kan PaLM 2 förstå idiom, dikter, nyanserade texter och till och med gåtor på andra språk. Det går utöver den bokstavliga betydelsen av ord och förstår den tvetydiga och bildliga innebörden bakom orden. Detta beror på att PaLM 2 har förutbildats i parallella flerspråkiga texter på olika språk. Dessutom gör korpusen av flerspråkig data av hög kvalitet PaLM 2 ännu mer kraftfull. Som ett resultat fungerar översättning och andra sådana applikationer mycket bättre på PaLM 2.
Därefter kommer vi till dess kodningsmöjligheter. Google säger att PaLM 2 återigen är utbildad på en stor mängd källkodsdatauppsättningar av hög kvalitet som är tillgängliga i det offentliga området. Som ett resultat stöder det mer än 20 programmeringsspråk, som inkluderar Python, JavaScrupt, C, C++ och ännu äldre språk som Prolog, Fortran och Verilog. Den kan också generera kod, erbjuda sammanhangsmedvetna förslag, översätta kod från ett språk till ett annat, lägga till funktioner med bara en kommentar och mer.
Vad kan PaLM 2-modellen göra?
Först av allt, låt mig säga att PaLM 2 har byggts för att göra den anpassningsbar för olika användningsfall. Google meddelade att PaLM 2 kommer i fyra olika modeller — Gecko, Otter, Bison och Unicorn; Gecko är den minsta och Unicorn är den största.
Gecko är så lätt att den kan köras även på smartphones samtidigt som den är helt offline. Det kan det bearbeta 20 tokens per sekund på en flaggskeppstelefon, vilket är cirka 16 ord per sekund. Det är fantastiskt, eller hur? Föreställ dig vilken typ av AI-drivna appar på enheten du kan köra på din smartphone utan att kräva en aktiv internetanslutning eller kraftiga specifikationer.
Bortsett från det, PaLM 2 kan finjusteras för att göra en domänspecifik modell genast. Google har redan skapat Med-PaLM 2, en medicinsk specifik LLM finjusterad på PaLM 2 som fick ”expert”-nivåkompetens på frågor i stil med US Medical Licensing Exam. Den uppnådde en noggrannhet på 85,4 % i USMLE-testettill och med högre än GPT-4 (84%). Som sagt, tänk på att GPT-4 är en allmän LLM och inte finjusterad för medicinsk kunskap.
Google har lagt till att gå vidare multimodal förmåga till Med-PaLM 2. Den kan analysera bilder som röntgen och mammografi och komma med slutsatser, i linje med experter. Det är ganska anmärkningsvärt eftersom det kan ge välbehövlig medicinsk tillgång till avlägsna områden runt om i världen. Utöver det har Google utvecklat Sec-PaLM, en specialiserad version av PaLM 2 för cybersäkerhetsanalys och för att snabbt upptäcka skadliga hot på nolltid.
PaLM 2-drivna Google-produkter
Dessa är alla olika användningsfall av PaLM 2 inom olika sfärer och branscher. När det gäller enskilda konsumenter kan du uppleva PaLM 2 i aktion genom Google Bard, Google Generative AI Search och Duet AI i Gmail, Google Docs och Google Sheets. Google flyttade nyligen Bard, dess interaktiva AI-chattbot, till PaLM 2 och öppnade för åtkomst till mer än 180 länder. Du kan följa vår artikel och lära dig hur du använder Google Bard just nu.
När det gäller att använda PaLM 2 i Gmail, Google Docs och Sheets (Google kallar det Duett AI för Google Workspace) måste du gå med i väntelista för att dra fördel av de AI-drivna funktionerna. Slutligen, för utvecklare, har Google släppte PaLM API som bygger på PaLM 2-modellen. Du kan registrera dig just nu för att använda PaLM API i dina produkter. Den kan generera mer än 75 tokens per sekund och har ett sammanhangsfönster på 8 000 tokens.
PaLM 2 vs GPT-4: Hur jämförs AI-modellerna?
Innan man jämför funktionerna är en sak klar – PaLM 2 är snabb. Jag menar, den är snabb på att svara på frågor, även komplexa resonemangsfrågor. Inte bara det, den erbjuder tre utkast samtidigt, om du inte är nöjd med standardsvaret. Sålunda, ur effektivitets- och beräkningssynpunkt, ligger Google ett eller två steg före OpenAI. Läs om alla nya funktioner i Google Bard AI här.
När det gäller kapaciteten testade vi resonemangsförmågan hos både modellerna och PaLM 2-drivna Google Bard lyser verkligen i sådana tester. Av tre resonemangsfrågor svarade Bard korrekt på alla tre medan ChatGPT-4 bara kunde svara på ett korrekt svar. I ett fall var Bards bedömning fel (verkade hallucinera), men gav på något sätt rätt svar.
Bortsett från det, för kodningsuppgifter, bad jag Bard att hitta en bugg i koden jag angav, men det gav ett långt svar för att åtgärda problemen, vilket visade sig vara helt fel. ChatGPT-4 identifierade dock omedelbart kodningssyntaxen, upptäckte felet och fixade koden utan ytterligare uppmaning.
Jag tilldelade även en uppgift till båda modellerna för att implementera Dijkstras algoritm i Python och båda modellerna genererad felfri kod. Jag kompilerade båda och ingen av funktionerna gav några fel. Som sagt, ChatGPT-4 genererar ren kod med några exempel medan Bard bara implementerar barebone-funktionen.
Begränsningar för Google PaLM 2
När vi nu kommer till begränsningarna vet vi redan att ChatGPT-plugins är kraftfulla och snabbt kan förbättra GPT-4:s kapacitet med mil. Med bara Kodtolk-pluginanvändare kan göra så mycket mer med ChatGPT. Google har faktiskt också tillkännagett ”Verktyg” som liknar plugins, men de är inte live ännu och stöd från tredje part verkar svagt för närvarande. Samtidigt är utvecklarstödet enormt för OpenAI.
Därefter är GPT-4 en multimodal modell vilket innebär att den kan analysera både texter och bilder. Multimodalitet har ett antal intressanta användningsfall. Du kan be ChatGPT att studera en graf, tabell, medicinsk rapport, medicinsk bildbehandling och mer. Ja, funktionen har inte lagts till i ChatGPT än, men vi har sett en tidig demo och den verkade väldigt imponerande. Å andra sidan, PaLM 2 är inte en multimodal modell eftersom det bara handlar om texter.
Sökjätten har finjusterat PaLM 2 för att skapa Med-PaLM 2 som verkligen är multimodal, men den är inte öppen för allmänt bruk och är begränsad till enbart den medicinska domänen. Google säger att nästa generations modell som heter Gemini kommer att vara multimodal med banbrytande funktioner, men det tränas fortfarande och det är månader kvar till release. Google har lovat att ge Lens-stöd till Bard, men det är inte samma sak som en AI-driven visuell modell.
Slutligen, i jämförelse med GPT-4, Google Bard hallucinerar mycket (se ett exempel härdär Bard tror att PaLM AI-modellen är skapad av OpenAI). Den skapar information i farten och svarar självsäkert med falsk information. GPT-3 och GPT-3.5 hade också ett liknande problem, men OpenAI har lyckats minska hallucinationerna med 40 % med lanseringen av GPT-4. Google måste ta itu med samma hallucinationsproblem ”djärvt och ansvarsfullt.”
Slutsats: PaLM 2 eller GPT-4?
Sammanfattningsvis har Googles PaLM 2 AI-modell förbättrats inom vissa områden som avancerade resonemang, översättning, flerspråkig kapacitet, matematik och kodning. Dessutom har den den extra fördelen att köra en mindre modell med snabb prestanda och låga serveringskostnader. Men för att nå funktionsparitet med GPT-4 måste Google lägga till multimodalitet, tredjepartsverktyg (Plugins), ta itu med hallucinationsproblemet och göra sina AI-modeller så utvecklarvänliga som möjligt.
Stöd vårt arbete ❤️
Om du gillade den här artikeln, överväg att lämna dricks för att hjälpa oss fortsätta publicera bra innehåll.
