@ Didier Marti/Getty ImagesIBM har inngått en avtale med AI Singapore (AISG) for å teste sistnevntes store Sørøst-asiatiske språkmodell (LLM) og gjør den tilgjengelig for utviklere å bygge tilpassede applikasjoner for kunstig intelligens (AI).
Under partnerskapet vil IBM teste modellen for Sørøst-asiatiske språk i ett nettverk (SEA-LION) ved å bruke Big Blues AI-teknologi og dataplattform, watsonx, og samarbeide med AISG for å finjustere LLM. Målet er å gi organisasjoner muligheten til å velge passende AI-modeller for deres forretningsbehov, sa IBM og AISG i en felles uttalelse tirsdag.
Også: Google deltar i samarbeid for å bygge lokaliserte store språkmodeller
IBM vil også gjøre SEA-LION tilgjengelig på sitt AI use case-bibliotek, kalt Digital Self-Serve Co-Create Experience (DSCE), som gjør det mulig for utviklere og dataforskere å bygge lokaliserte generative AI (GenAI)-applikasjoner.
En åpen kildekode LLM utviklet av AISG, SEA-LION er designet for å være mindre, mer fleksibel og raskere sammenlignet med andre LLM-er på markedet, ifølge AISG. Dens nåværende iterasjon kjører på to basismodeller: en modell med 3 milliarder parametere og en modell med 7 milliarder parametere. LLMs treningsdata er sammensatt av 981 milliarder språktokens, som AISG definerer som fragmenter av ord som er opprettet fra å bryte ned tekst under tokeniseringsprosessen. Disse fragmentene inkluderer 623 milliarder engelske tokens, 128 milliarder Sørøst-Asia-tokens og 91 milliarder kinesiske tokens.
Med SEA-LION har Singapore som mål å drive utviklingen av LLM-er som bedre reflekterer Sørøst-Asias samfunnssammensetning og viser sterkere kontekstuell forståelse av regionens mangfoldige kulturer og språk. xA0;
Partnerskapet tar sikte på å presse frem en "tilpasset fundamentmodell" for Sørøst-Asia og laget av Sørøst-asiater, sa Leslie Teo, AISGs seniordirektør for AI-produkter. De to organisasjonene vil også se etter å bygge brukstilfeller og gi næring til bruken av SEA-LION samt hjelpe organisasjoner med å “skalere AI sikkert og ansvarlig”," sa Teo.
Samarbeidet omfatter innsats for å inkorporere AI-styring i SEA-LION, slik at bedrifter bedre kan navigere etter samsvar, risikostyring og modelllivssyklusstyring, selv når myndighetsbestemmelser om AI fortsetter å utvikle seg.
" ;[IBM] tror videre fremgang av GenAI vil gi større ytelse i mindre språkmodeller, med brukere som får muligheten til å tilpasse modeller basert på deres forretnings- og bransjekrav," sa Catherine Lian, IBM Aseans daglige leder og teknologileder.
Også: Generativ AI kan skape mer arbeid enn det sparer
“Ingen én modell passer alle for bedrifter, og organisasjoner må ha mulighet til å velge å bruke modellene sine basert på deres behov,”" sa Lian. “[The] SEA-LION LLM er et stort skritt fremover i å skape et åpent AI-system og møte ASEAN-språkutfordringene som bedrifter og myndigheter står overfor når de jobber med AI."
AISG kunngjorde også i mars et partnerskap med Google for å forbedre datasett som brukes til å trene, finjustere og vurdere AI-modeller på språk som er spesifikke for Sørøst-Asia. Initiativet, kalt Project Southeast Asian Languages in One Network Data, har som mål å “forbedre bevisstheten om kulturell kontekst” i LLM-er bygget for regionen.
Prosjektet vil i utgangspunktet fokusere på indonesisk, thai, tamil, filippinsk og burmesisk – språk som AISG og Google vil utvikle translokaliserings- og oversettelsesmodeller for. De vil også bygge verktøy for å hjelpe med å skalere translokaliseringsevner og beste praksis for justering av datasett. Førtreningsveiledninger vil bli publisert for sørøstasiatiske språk.