Google Bard Bilduppladdning: Coola exempel och tips

Google har i tysthet förbättrat Bard och lagt till nya funktioner med några veckors mellanrum, vilket gör att dess kapacitet är i nivå med ChatGPT. Nu har företaget lagt till möjligheten att ladda upp bilder till Bard för en mycket bredare upplevelse förutom text. Gör inga misstag, Google Bard är fortfarande en stor språkmodell med enbart text. Sökjätten har dock integrerat Google Lens, omvänd bildsökning och några VQA-system (Visual Question Answering) för att få Bard att känna sig som en multimodal modell. Ändå är Bards nuvarande synförmåga verkligen något överraskande, och vi har testat den nedan för att lära dig mer om dess kapacitet. På det sättet, låt oss ta en titt på några coola exempel på bilduppladdningar i Google Bard.

1. Extrahera texter från bilder

Det bästa med Bards bildhanteringsförmåga är att du nu kan ladda upp en bild genom att klicka på (+) knapp. Det kan sedan snabbt ta texter från uppladdningarna. Googla Bard då utför automatiskt OCR och gör ett korrekt jobb. Med det sagt, trots en lång lista med språkstöd i Bard, fungerar för närvarande OCR-funktionaliteten bara för det engelska språket. Jag försökte flera internationella och regionala språk, men det lyckades inte fånga texter från skannade bilder. Men för snabb textextraktion från bilder kan Bard vara till stor hjälp.

2. Extrahera tabeller med intakt formatering

Vi kämpar alla när vi måste extrahera tabeller från skannade bilder eller dokument. Men Google Bard kan enkelt extrahera tabeller med formateringen intakt. Det kan du faktiskt exportera tabellen till Google Kalkylark också och gör ytterligare redigering eller dataknäppning. Hur coolt är det? Med det sagt hallucinerar Bard för närvarande mycket, och i vissa fall fyller det cellerna med fel data, så se till att verifiera dem innan du exporterar dem.

3. Generera kod för webbplatser/appar med hjälp av mockups

För att visa upp GPT-4:s multimodalitetsfunktion demonstrerade OpenAI i mars 2023 hur dess modell förstod den klottrade lappen och skapade snabbt en mockup av webbplatsen från ett papper. Medan den multimodala funktionen ännu inte har kommit till GPT-4, kan Google Bard generera kod som matchar modellen. Tänk på det Bard är inte en multimodal modell men använder bildsegmentering via Google Lens för att förstå bilden. Ändå överraskade Bard oss ​​med sina resultat.

Jag laddade upp en skärmdump av Facebook-målsidan och den genererades snabbt kod i HTML och CSS som såg lite likt ut. Jag laddade också upp en bild av en enkel webbplats som jag ritade på papper, och Google Bard gjorde ett tillräckligt bra jobb med att återskapa den. Vidare kan du använda liknande metoder för att återskapa användargränssnitt för smartphone-appar och andra webbplatser också.

4. Google Bard kan förklara bilder

Google Bard är bra på att förklara bilder och sammanfatta vad som händer i dem. Du kan ladda upp obskyra bilder, och det kan det producera tillförlitlig information snabbt. Jag laddade upp en bild av låg kvalitet av en biologisk mekanism, och den identifierade den korrekt som cellmitos. Den förklarade processen ytterligare steg för steg.

I ett annat exempel, jag laddade upp ett diagram, och den förstod bilden korrekt och förklarade data. Den skapade till och med en tabell över datapunkterna så att jag kunde arbeta med den i Google Sheets. Särskilt för studenter kan Bard vara till hjälp för att förstå begrepp inom naturvetenskap och andra ämnen. Du kan helt enkelt ladda upp en bild och fråga Bard om det.

5. Få näringsinformation från bilder

Genom att använda Bards bildhanteringsförmåga kan du få näringsvärden i mat. Ladda bara upp bilden av maten på din tallrik, så kommer den att göra det beräkna den totala kalorien inom några sekunder. Detta kan vara oerhört användbart för människor som är på en reglerad diet.

I mina tester kunde den inte mäta portionsstorleken men gav exempel så att du själv kunde beräkna det totala kaloriintaget. Det verkar som att Google använder bildsegmentering för att kategorisera livsmedel och komma med näringsinformation.

6. Improvisera matrecept

Ett annat utmärkt användningsfall är att lägga till bilden av råvaror och be Google Bard att komma med olika matrecept. Du kan också lägga till bilder på matvaror i ditt kylskåp, så skapar det enkelt personliga recept för dig. Dessutom kan du be Bard om särskilda kök från olika delar av världen. Och om du är på diet kan du be Google Bard att skapa fettfria, kalorisnåla matrecept för mättnad.

7. Lös matematiska frågor

Du kan använda Google Bard för att lösa matematiska frågor också. Du kan ladda upp en bild av dina matteproblem till Bard, och det kommer att göra det försök lösa frågan för dig. I min testning var Bards tillvägagångssätt rätt men på grund av notationsproblem kom det bara med felaktiga svar. Jag tror att det kommer att kräva en uppdatering av sitt visionsystem för att göra Bard mer lämpad för att hantera matematiska notationer och frågor.

8. Förklara memes och skämt

Google Bard kan också förklara memes och skämt. Du kan ladda upp bilder av roliga memes och tecknade serier och fråga Bard vad som är roligt ungefär detsamma, och det kommer att ge sin egen tolkning. Jag laddade upp samma bild som OpenAI demonstrerade under GPT-4-avtäckningen, och Bard förstod med rätta den lustiga absurditeten bakom bilden.

I ett annat fall laddade jag upp en bild till Google Bard från The New Yorker Cartoons och bad om det förklara skämtet. Men den här gången förklarade det helt enkelt scenen och kunde inte säga varför bilden var rolig. Det saknade helt den e-postfras som ofta används på arbetsplatser. Jag föreslår att du själv provar Google Bard och kontrollerar om den är tillräckligt intelligent för att förstå kvickhet och humor.

9. Översätt ekvationer till LaTeX

Det är ingen hemlighet att många tycker att det är svårt att skriva i LaTeX och föredrar att använda ordbehandlare. Men för vetenskapliga forskningsartiklar och akademiskt skrivande krävs LaTeX för lägga till komplexa ekvationer och högkvalitativ sättning. I ett sådant scenario kan Google Bard vara till hjälp. Du kan lägga till bilder av ekvationer och Bard kan översätta dem till LaTeX-kod. Det är fantastiskt, eller hur? Så fortsätt och översätt ekvationerna till LaTeX-kod på nolltid.

10. Ladda upp medicinska rapporter och ställ frågor

Slutligen kan du ladda upp bilder av dina medicinska rapporter och skanna dem till Google Bard. Du kan sedan ställa medicinska frågor utifrån dem. Vissa läkare på Twitter har visat att Bard är ganska bra för differentialdiagnos. Det kan också hjälpa användare att förstå sin hälsa och förstå medicinska rapporter

Som sagt, kom ihåg att Google Bard körs på en allmän LLM kallas PaLM 2. Sökjätten har utvecklat en separat medicinsk-domän Med-PaLM 2-modell, som är ganska exakt och avancerad, men den är inte tillgänglig för allmänna användare ännu. Så jag kommer att rekommendera användare att hålla sig borta från någon form av självdiagnos med Bard. Det rekommenderas starkt att konsultera en läkare. Och slutligen, om du laddar upp dina personliga medicinska rapporter till Bard, se till att ta bort Bard-chattar för att skydda din integritet.

Stöd vårt arbete ❤️

Om du gillade den här artikeln, överväg att lämna dricks för att hjälpa oss fortsätta publicera bra innehåll.

5 € 10 € 15 € Annat

€

Ge dricks med PayPal Säker betalning med PayPal