För sex månader sedan lanserade vi Foundation Model Transparency Index (FMTI) för att bedöma hur öppna utvecklare av stora grundmodeller är om sina metoder, data och kapabiliteter. Vårt index använder sig av 100 olika indikatorer som täcker diverse områden såsom dataåtkomst, beräkningseffektivitet, arbetsinsatser och riskhanteringar. I vår första rapport från oktober 2024 var resultaten nedslående med ett genomsnittligt betyg på endast 37 av 100.
Grundmodeller är hjärtat i många av dagens mest påverkningsfulla AI-system. Till exempel använder Google nu sin Gemini-modell i alla sina produkter med minst 2 miljarder användare. År 2024 visar AI Index att utvecklare investerar hundratals miljoner dollar i att bygga sina flaggskeppsmodeller. Med teknikens ökade betydelse och påverkan, blir det allt viktigare att dessa modeller är transparenta kring hur de fungerar och vilken påverkan de kan ha.
Flera regeringar har också erkänt behovet av ökad öppenhet. USA, EU, Kina, Kanada och G7-länderna har alla tagit steg för att förbättra transparensen kring grundmodeller. I detta sammanhang är Foundation Model Transparency Index ett viktigt verktyg för att utvärdera och förbättra denna transparens.
Sex månader senare publicerar vi nu en uppföljande studie. Denna gång har vi utvärderat 14 företag, varav åtta ingick i den ursprungliga oktober 2024-indexen och sex är nya. Varje utvecklare har förberett en rapport där de avslöjar information om sina flaggskeppsmodeller, exempelvis energiförbrukningen vid träning av modellerna. Efter en tre månaders process har vi färdigställt och publicerat transparensrapporterna som interaktiva resurser på vår webbplats.
Det är glädjande att se att genomsnittspoängen har stigit från 37 till 58. Tre företag ligger väl över genomsnittet, nio är koncentrerade runt medelvärdet och två ligger märkbart under. Analysen visar att utvecklare presterar bäst vad gäller modellens kapabiliteter och dokumentation för nedströmsanvändare, medan områden som dataåtkomst, utvärderingar av modellens trovärdighet och dess påverkan nedströms fortfarande är mest ogenomskinliga.
För att möjliggöra jämförelser mellan resultaten från oktober 2024 och maj 2024 använde vi samma 100 indikatorer och samma standard för att tilldela varje indikator. Den tydliga trenden är att utvecklare blivit mer öppna: den genomsnittliga poängen ökade från 37 till 58 och den högsta poängen från 54 till 85.
Alla åtta utvecklare som bedömdes i båda iterationerna förbättrade sina poäng. Vissa tog stora språng, som AI21 Labs som gick från 25 till 75 poäng, medan andra gjorde mer marginella förändringar, som OpenAI som ökade från 48 till 49 poäng.
Företagen har börjat avslöja ny information som tidigare var dold. Till exempel poängterade företagen endast 17% av indikatorerna relaterade till beräkning i oktober 2024, medan de nu i genomsnitt poängterar 51%. Denna förändring återspeglar att flera företag nu avslöjar mängden beräkningar, hårdvara och energi som krävs för att bygga sina flaggskeppsmodeller.
Trots dessa förbättringar kvarstår problemområden. Specifikt saknas öppenhet kring datarelaterade frågor såsom upphovsrättsstatus för data och förekomsten av personligt identifierbar information i data. Likaså klargör utvecklare inte naturen av deras modellers påverkan nedströms, såsom marknadssektorer och länder där deras modeller används och hur de används där.
Foundation Model Transparency Index är en pågående strävan att mäta och därmed förbättra transparensen inom grundmodellsekosystemet. Maj 2024-indexet visar en betydande ökning av öppenheten, samtidigt som det finns tydligt utrymme för förbättring inom specifika områden som visar lite framsteg.
Genom att publicera maj 2024-indexet tillhandahåller vi validerade transparensrapporter från 14 stora utvecklare som en ny resurs för samhället. Framåt föreställer vi oss att utvecklare släpper transparensrapporter i linje med rekommendationerna från Vita Huset och G7.
För mer detaljer, vänligen se vår rapport. Vi tackar Foundation Model Transparency Index Advisory Board för vägledning. Vi vill också tacka de 14 modellutvecklarna för deras engagemang i denna strävan och Loredana Fattorini för att ha förberett visualiseringarna i detta arbete. Prenumerera på vårt nyhetsbrev för att få uppdateringar från Center for Research on Foundation Models (CRFM) eller skicka ett e-postmeddelande till oss på contact-crfm@stanford.edu.
CRFM är tacksamma för våra supportrar. © 2021. Stanford Center for Research on Foundation Models. Designad av Joon Sung Park.
