Google ‘ s seneste sprog maskine sætter fokus tilbage på sprog

0
165

Som programmeringssprog tjener du flest penge?
ZDNet ‘ s Steve Ranger foredrag programmeringssprog og penge, specielt felt, som kan tjene dig mest, betaler, og hvad programmering arbejdspladser de seneste college nygrader bør se på. Læs mere: https://zd.net/2M0WJ4H

I moderne kunstig intelligens-systemer for at forstå naturlige sprog, der er noget af en spænding-mellem forståelse af sprog, på den ene side, og udfører computer tricks at forbedre test-tager ved at manipulere med data, på den anden.

For at løse dette problem, forfatterne strimler væk maskering idé, og de i stedet gå tilbage til en tidligere idé, der er udviklet i 2016, baseret på begrebet “afskygninger” af Benigno Uria af Google ‘ s DeepMind. Man kan indeksere et ord i en sætning og derefter, uden at henvise til selve ordet, beregne de forskellige permutationer af disse ord i rækkefølge.

Forfatterne kalder det en “to stream” – tilgang, hvor Transformer både ser på sandsynligheder af ord i sammenhæng i sætningen, og derefter en anden funktion, der ser på rækkefølgen af ord omkring målet ord, den sammenhæng, hvad der er kendt i Transformer-tale som “query.” Denne anden funktion har ingen viden om target-ordet selv. Tænk på det som at kombinere to sæt af oplysninger, én om ordet i sig selv og en anden om den kontekst, som det er mest sandsynligt, at dukke op. Dette bliver, da et nyt, kombineret mål, der skal være optimeret ved XLNet.

Resultatet er, at XLNet, skriver forfatterne, har mere “signaler”, end ikke BERT. Men det forbedrer også på, inden sprog modellering indsats som GPT-2, hævder de. Det væsentlige broer to verdener.

Forfatterne planer om at udvide XLNet tilgang til problemer i computer vision og forstærkning af læring, de bemærker.

Alle, der er tilbage nu, er for holdet i Allen Institute for Kunstig Intelligens til at starte picking ud XLNet.

Kunstig Intelligens

Use-case udvælgelsen vil gøre eller bryde dine AI strategi i sundhedssektoren

Salesforce tilføjer AI bias modul til Trailhead

Ved hjælp af maskinen at lære at løse dit mørke data mareridt

Hvordan neurale netværk se dybde?

AI i Sundhedsvæsenet: at Redde liv på befolkningen skala (CNET)

Kun 29% af de virksomheder, der regelmæssigt bruger AI (TechRepublic)

Relaterede Emner:

Google

Digital Transformation

CXO

Tingenes Internet

Innovation

Virksomhedens Software