Tidigt på morgonen den 21 maj 2024, vid Microsofts Build-konferens, tog företagets VD Satya Nadella scenen för att introducera den senaste innovationen inom artificiell intelligens. Microsoft satsar nu stort på utvecklingen av små språkmodeller, även kallade Small Language Models (SLMs). Företaget har tillkännagivit den allmänna tillgängligheten av sina Phi-3-modeller och visade en förhandsversion av Phi-3-vision. Dock, i kölvattnet av nyheten om Copilot+ PC, kommer en särskild liten språkmodell, Phi-Silica, som är skräddarsydd för att köras på dessa enheters kraftfulla Neural Processing Units (NPUs). Denna nya modell kommer att inbäddas i alla Copilot+ PC:er och säljas från och med juni.
Phi-Silica utmärker sig med sina 3,3 miljarder parametrar och blir den minsta av alla Phi-modeller. En av de mest imponerande aspekterna är modellens prestanda: den första token latensen är 650 tokens per sekund medan den använder endast cirka 1,5 Watt energi. Detta innebär att den inte kommer att vara resurskrävande och frigör därigenom PC:ns CPU och GPU för andra beräkningar. Vidare gör Phi-Silica användning av NPU:n's KV cache för token-genaring, vilket innebär att den kan köra på CPU, och producerar därmed cirka 27 tokens per sekund.
En talesperson från Microsoft kommenterade: "Vad som skiljer Phi-Silica från andra modeller är dess status som Windows’ första lokalt distribuerade språkmodell. Den är optimerad för att köras på Copilot + PC:ers NPU, vilket ger blixtsnabb lokal inferens till din enhet. Detta milstolpe markerar en avgörande punkt i att föra avancerad AI direkt till tredjepartsutvecklare, optimerad för Windows, för att börja bygga otroliga förstaparts samt tredjeparts upplevelser som kommer att lyfta produktivitet och tillgänglighet inom Windows-ekosystemet."
Phi-Silica är den femte variationen av Microsofts Phi-3-modeller. Dessa inkluderar Phi-3-mini med 3,8 miljarder parametrar, Phi-3-small med 7 miljarder parametrar, Phi-3-medium med 14 miljarder parametrar och Phi-3-vision med 4,2 miljarder parametrar. Varje modell har sina egna unika egenskaper och tillämpningsområden, men det som gör Phi-Silica speciell är dess kapacitet att köra lokalt på en NPU, vilket innebär snabba och effektiva AI-funktioner direkt på enheten utan behovet av konstant molnanslutning.
En av de mest övertygande funktionerna med Phi-Silica är dess höga prestanda i förhållande till dess storlek. Modellens kapabilitet att bearbeta 650 tokens per sekund och den låga energiförbrukningen på cirka 1,5 watt gör den extremt effektiv. Genom att återanvända NPU:n's KV cache kan Phi-Silica fortsätta att generera tokens med en hastighet av cirka 27 tokens per sekund på CPU. Detta innebär en betydande förbättring i hur snabba och effektiva AI-baserade applikationer kan bli på en enhet som använder Copilot+ PC.
Att Phi-Silica nu finns på Copilot + PC:er markerar en ny era för AI-tillämpningar inom Windows ekosystemet. Genom lokalt distribuerad AI kan program och applikationer utnyttja kraftfulla inferens möjligheter utan att behöva vara beroende av molntjänster. Detta ger inte bara förbättrad prestanda utan ökar också säkerheten och dataskyddet då bearbetningen sker lokalt på enheten.
Med utvidgningen av AI i allt fler applikationer, blir frågor om etik och fördomar allt viktigare. På samma Build-konferens betonades vikten av att kunna granska och säkerställa att AI-modeller följer etiska standarder och är fria från fördomar. Microsoft uppmuntrar företag och utvecklare att delta i event som AI Impact Tour: The AI Audit för att diskutera och utveckla metoder för att auditering av AI-modeller för rättvisa, optimal prestanda och etisk efterlevnad.
Denna princip blir inte mindre viktig med introduktionen av Phi-Silica. Eftersom textbaserade AI-modeller kan ha en djupgående inverkan på användare, är det avgörande att säkerställa modellens rättvisa, genomförande kapacitet och etiska följdriktighet. Företag måste vara medvetna om dessa utmaningar och proaktivt arbeta för att minska eventuella skevheter i sina AI-modeller.
Microsofts introduktion av Phi-Silica representerar ett betydande steg framåt i AI-utvecklingen för persondatorer. Modellen erbjuder inte bara snabba och energieffektiva prestanda utan också en möjlighet för utvecklare att skapa bättre och mer uppslukande AI-upplevelser direkt på enheterna. Detta markerar en viktig utveckling i strävan att föra avancerad AI till en bredare användare och förbättra produktiviteten samt tillgängligheten inom Windows-ekosystemet. Samtidigt lyfts viktiga frågor om etik och fördomar i AI som kräver fortsatt uppmärksamhet och aktiv hantering.
