Den här historien är en del av vår bevakning av Computex, världens största datorkonferens.
När Microsoft tillkännagav Copilot+-datorer för några veckor sedan, rådde en fråga högst: Varför kan jag inte bara köra dessa AI-applikationer på min GPU? På Computex 2024 gav Nvidia äntligen ett svar.
Nvidia och Microsoft arbetar tillsammans på ett Application Programming Interface (API) som gör det möjligt för utvecklare att köra sina AI-accelererade appar på RTX-grafikkort. Detta inkluderar de olika små språkmodellerna (SLM) som är en del av Copilot-körtiden, som används som grund för funktioner som Recall och Live Captions.
Med verktygslådan kan utvecklare tillåta appar att köras lokalt på din GPU istället för NPU. Detta öppnar upp dörren till inte bara mer kraftfulla AI-applikationer, eftersom AI-kapaciteten hos GPU:er i allmänhet är högre än NPU:er, utan också möjligheten att köras på datorer som för närvarande inte faller under Copilot+-paraplyet.
Få din veckovisa nedbrytning av tekniken bakom PC-spel
Det är ett bra drag. Copilot+-datorer kräver för närvarande en Neural Processing Unit (NPU) som kan utföra minst 40 Tera Operations Per Second (TOPS). För närvarande är det bara Snapdragon X Elite som uppfyller dessa kriterier. Trots det har GPU:er mycket högre AI-bearbetningskapacitet, med till och med low-end-modeller som når upp till 100 TOPS, och avancerade alternativ som skalas ännu högre.
Förutom att köras på GPU:n lägger det nya API:et till funktioner för återhämtningsförstärkt generation (RAG) till Copilot-körtiden. RAG ger AI-modellen tillgång till specifik information lokalt, vilket gör att den kan tillhandahålla mer användbara lösningar. Vi såg RAG i full visning med Nvidias Chat with RTX tidigare i år.
Utanför API:et tillkännagav Nvidia RTX AI Toolkit på Computex. Denna utvecklarsvit, som kommer i juni, kombinerar olika verktyg och SDK:er som gör det möjligt för utvecklare att ställa in AI-modeller för specifika applikationer. Nvidia säger att genom att använda RTX AI Toolkit kan utvecklare göra modeller fyra gånger snabbare och tre gånger mindre jämfört med att använda lösningar med öppen källkod.
Vi ser en våg av verktyg som gör det möjligt för utvecklare att bygga specifika AI-applikationer för slutanvändare. En del av det dyker redan upp i Copilot+-datorer, men jag misstänker att vi kommer att se mycket fler AI-applikationer vid denna tidpunkt nästa år. Vi har ju hårdvaran för att köra dessa appar; nu behöver vi bara programvaran.
Stöd vårt arbete ❤️
Om du gillade den här artikeln, överväg att lämna dricks för att hjälpa oss fortsätta publicera bra innehåll.
