Afbeelding: Microsoft
Nvidia en Microsoft hebben samengewerkt om het Megatron-Turing Natural Language Generation-model te creëren, dat volgens het duo het “krachtigste monolithische transformatortaalmodel is dat tot nu toe is getraind”.
Het AI-model heeft 105 lagen, 530 miljard parameters en werkt op dikke supercomputerhardware zoals Selene.
Ter vergelijking: de geroemde GPT-3 heeft 175 miljard parameters.
“Elke modelreplica omvat 280 NVIDIA A100 GPU's, met 8-weg tensor-slicing binnen een knooppunt en 35-weg pijplijnparallellisme tussen knooppunten”, aldus het paar in een blogpost.
Het model is getraind op 15 datasets die 339 miljard tokens bevatten, en was in staat om te laten zien hoe grotere modellen minder training nodig hebben om goed te werken.
De noodzaak om te werken met talen en voorbeelden uit de echte wereld betekende echter dat een oud probleem met AI opnieuw de kop opstak: Bias.
“Terwijl gigantische taalmodellen de state-of-the-art op het gebied van taalgeneratie bevorderen, hebben ze ook last van problemen zoals vooringenomenheid en toxiciteit”, aldus het duo.
“Onze observaties met MT-NLG zijn dat het model stereotypen en vooroordelen oppikt uit de gegevens waarop het is getraind. Microsoft en Nvidia zijn vastbesloten om dit probleem aan te pakken.
“Onze observaties met MT- NLG zijn dat het model stereotypen en vooroordelen oppikt uit de gegevens waarop het is getraind. Microsoft en Nvidia zijn vastbesloten om dit probleem aan te pakken.”
Het is nog niet zo lang geleden dat Microsoft zijn chatbot Tay in een paar uur tijd tot nazi liet worden door interactie op internet.
Verwante dekking
AI-aangedreven app Natural biedt nieuwe interface voor consumententransacties Kijk uit, GPT-3, hier komt AI21's 'Jurassic' taalmodelOpenAI stelt open-source Triton-taal voor als alternatief voor Nvidia's CUDAHoe AI en 5G de volgende golf van innovatie zullen aandrijvenAI-industrie, geobsedeerd met snelheid, heeft er een hekel aan om rekening te houden met de energiekosten in de nieuwste MLPerf-benchmark.OpenAI zegt 'Hallo, wereld!' met private beta voor Codex code generatie tool
Verwante onderwerpen:
Hardware Digitale transformatie CXO Internet of Things Innovatie Enterprise Software 