Phi-3-Medium-128K-Instruct är en banbrytande språkmodell med 14 miljarder parametrar, designad för att leverera högkvalitativa svar på komplexa frågor. Denna modell är en del av Phi-3 familjen och har genomgått två specifika varianter baserade på kontextlängd: 4k och 128k token. Dess robusta prestanda och mångsidighet är ett resultat av träning med noggrant utvalda datasets, både syntetiskt skapade och filterade från publikt tillgängliga webbplatser.
Modellen har efter sin grundträning genomgått förfinad träning som innefattar både övervakad finjustering och direkt preferensoptimering för att säkerställa att den följer instruktioner och upprätthåller säkerhetsstandarder. Vid testning mot benchmarks som analyserar allmännt förnuft, språklig förståelse, matematik, kod-skrivande, lång kontext och logiskt tänkande, har Phi-3-Medium-128K-Instruct visat sig vara en stark konkurrent bland både modeller av samma storlek och större modeller.
Phi-3-Medium-128K-Instruct är huvudsakligen framtagen för en bred användning inom både kommersiella och forskningssammanhang, med särskilt fokus på engelska språkapplikationer. Några av de primära användningsområdena inkluderar:
- Miljöer med begränsat minne eller beräkningskraft. - Scenarier där låg latens är avgörande. - Användningsområden som kräver starkt logiskt tänkande, särskilt inom kodning, matematik och logik.
Modellen är utformad för att accelerera forskning inom språkmodeller och multimodala modeller, samt fungera som en byggsten för generativa AI-funktioner. Det är dock viktigt för utvecklare att vara medvetna om modellens begränsningar och noga utvärdera dess lämplighet för olika användningsområden, särskilt de med hög risk.
För att kunna använda Phi-3-Medium-128k-Instruct, se till att integrera modellen i utvecklingsversionen (4.40.2) av Transformers. För att ladda modellen, ange argumentet trust_remote_code=True i funktionen from_pretrained(). Uppdatera din lokala Transformers version genom att använda kommandot: `pip uninstall -y transformers && pip install git+https://github.com/huggingface/transformers`. För att verifiera din nuvarande version, använd kommandot: `pip list | grep transformers`.
Phi-3-Medium-128k-Instruct är även tillgänglig i Azure AI Studio. Modellen stödjer en vokabulärstorlek på upp till 32064 tokens. Tokenizer-filerna innehåller redan reservtokens som kan användas för efterföljande finjusteringar.
Med tanke på naturen av träningsdata, är modellen bäst lämpad för prompts i chat-format. Exempel på ett sådant format kan vara:
<user> Fråga <end> <assistant>
Till exempel: <user> Hur förklarar man internet för en medeltida riddare? <end> <assistant>
I fall av få-skjut prompts, kan formatet vara:
<user> Jag ska till Paris, vad bör jag se? <end> <assistant> Paris, huvudstaden i Frankrike, är känd för sin fantastiska arkitektur, konstmu...
Som med alla språkmodeller kan Phi-seriens modeller potentiellt uppvisa beteenden som är orättvisa, opålitliga eller stötande. Här är några begränsningar att vara medveten om:
- **Kvalitet på tjänsten:** Phi-modeller är främst tränade på engelska text. Andra språk kommer uppleva sämre prestanda. - **Representation av skador och stereotyper:** Modellerna kan över- eller underrepresentera vissa grupper, radera representation för vissa grupper eller förstärka nedlåtande stereotyper. - **Innehåll:** Trots säkerhetsträning kan modellerna fortfarande producera stötande innehåll. - **Informations tillförlitlighet:** Modellerna kan generera nonsens, som låter trovärdigt men är felaktigt eller föråldrat. - **Begränsad räckvidd för kod:** Majoriteten av Phi-3 träningsdata är baserad på Python och vanliga paket som "typing, math, random, collections, datetime, itertools".
Phi-3-Medium-128k-Instruct är en tät decoder-only transformer-modell med 14 miljarder parametrar. Modellen är finjusterad med Supervised Fine-Tuning (SFT) och Direct Preference Optimization (DPO) för att säkerställa justering med mänskliga preferenser och säkerhetsriktlinjer. Ingångarna består av text och modellen är bäst lämpad för prompts i chat-format med en kontextlängd på 128k tokens.
Här är några tekniska detaljer:
- **Antal GPUs:** 512 H100-80G - **Träningstid:** 42 dagar - **Träningsdata:** 4.8T tokens - **Utvecklingsdatum:** Februari till April 2024 - **Releasedatum:** 21 maj, 2024
Phi-3-Medium-128k-Instruct är tränad med en rad olika källor, som tillsammans utgör totalt 4.8 biljoner tokens. Träningsdatan inkluderar:
- Publikt tillgängliga dokument som noggrant filtrerats för kvalitet. - Utvalda högkvalitativa utbildningsdata och kod. - Nyskapade syntetiska, "läroboksliknande" data för att lära ut matematik, kodning, allmän kunskap och logiskt tänkande. - Högkvalitativ chatformatdata som täcker olika ämnen för att reflektera mänskliga preferenser avseende instruktionsefterföljning, sanningshalt, ärlighet och hjälpsamhet.
Phi-3-Medium-128k-Instruct har testats mot öppna standardbenchmarks för att mäta modellens förmåga att resonera (både allmänt förnuft och logiskt tänkande). Jämförelsen inkluderar modeller som Mixtral-8x22b, Gemini-Pro, Command R+ 104B, Llama-3-70B-Instruct, GPT-3.5-Turbo-1106, och GPT-4-Turbo-1106 (Chat). Benchmark-testerna visar imposanta resultat där modellen stått sig stark mot sina konkurrenter.
Resultaten visar också att Phi-3-Medium-128k-Instruct har en imponerande genomsnittlig prestanda över ett spektrum av kategorier, från multilingualitas till logiskt tänkande.
Modellen använder PyTorch, DeepSpeed och Transformers, samt flash-attention som kräver särskilda typer av GPU-maskinvara. Den har testats på följande GPU-typer:
- NVIDIA A100 - NVIDIA A6000 - NVIDIA H100
Phi-3 Medium-modeller stöds över olika plattformar och maskinvaror genom ONNX runtime. Optimala Phi-3 modeller publiceras även i ONNX-format för att köras på CPU och GPU genom ONNX Runtime över enheter som servrar, Windows, Linux och Mac desktops, samt mobila CPU: er, med den precision som är bäst lämpad för varje mål.
DirektML GPU acceleration stöds för Windows-desktop-GPUer (AMD, Intel, och NVIDIA). Tillsammans med DML, tillhandahåller ONNX Runtime cross platform support för Phi-3 Medium över olika enheter.
Modellen är licensierad under MIT-licensen. Det innebär att den är öppen och tillgänglig för en mängd olika användningar inom ramen för MIT-licensens regler och riktlinjer.
Projektet kan innehålla varumärken eller logotyper för projekt, produkter eller tjänster. Auktoriserad användning av Microsofts varumärken eller logotyper är föremål för och måste följa Microsofts varumärkesriktlinjer. Användning av tredje parts varumärken eller logotyper är föremål för dessa tredje parts policyer.
```
