Hvordan Singapore skaper mer inkluderende kunstig intelligens

0
31
Weiquan Lin/Getty

Etter hvert som bruken av  generativ kunstig intelligens (AI) vokser, ser det ut til at det støter på et problem som også har plaget andre bransjer: mangel på inkludering og global representasjon. 

Sørøst-Asia omfatter 11 markeder, inkludert Indonesia, Thailand og Filippinene, og har en total befolkning på rundt 692,1 millioner mennesker. Innbyggerne snakker mer enn et dusin hovedspråk, inkludert filippinsk, vietnamesisk og lao. Singapore alene har fire offisielle språk: kinesisk, engelsk, tamil og malaysisk. 

De fleste store store språkmodellene (LLM) som brukes globalt i dag er ikke-asiatisk fokuserte, og underrepresenterer enorme lommer av befolkninger og språk. Land som Singapore er ute etter å tette dette gapet, spesielt for Sørøst-Asia, så regionen har LLM-er som bedre forstår dens forskjellige kontekster, språk og kulturer.

Landet er blant andre nasjoner i regionen som har fremhevet behovet for å bygge grunnleggende modeller som kan redusere databias i nåværende LLM-er som kommer fra vestlige land. 

I følge Leslie Teo, seniordirektør for AI-produkter hos AI Singapore (AISG), trenger Sørøst-Asia modeller som er kraftige og gjenspeiler mangfoldet i regionen. AISG mener løsningen kommer i form av Southeast Asian Languages ​​in One Network (SEA-LION), en åpen kildekode LLM som er utpekt for å være mindre, mer fleksibel og raskere sammenlignet med andre på markedet i dag. 

Også: Tilknyttede selskaper er satt opp for den AI-drevne økonomien

SEA-LION, som AISG styrer og leder utviklingen på, kjører for tiden på to basismodeller: en modell med tre milliarder parametere og en modell med syv milliarder parametere. 

Forhåndstrenet og instruert for Sørøst-asiatiske språk og kulturer, ble de trent på 981 milliarder språktokens, som AISG definerer som fragmenter av ord skapt fra å bryte ned tekst under tokeniseringsprosessen. Disse fragmentene inkluderer 623 milliarder engelske tokens, 128 milliarder Sørøst-Asia-tokens og 91 milliarder kinesiske tokens.  

Eksisterende tokenizere for populære LLM-er er ofte engelsksentrerte — hvis svært lite av treningsdataene deres gjenspeiler dataene i Sørøst-Asia, vil modellene ikke være i stand til å forstå konteksten, sa Teo. 

Han bemerket at 13 % av dataene bak SEA-LION er Sørøst-Asia-fokusert. Derimot inneholder Meta's Llama 2 bare 0,5%. 

En ny modell med syv milliarder parametere for SEA-LION er planlagt utgitt i midten av 2024, sa Teo, og la til at den vil kjøre på en annen modell enn den nåværende iterasjonen. Planer er også i gang for 13 milliarder og 30 milliarder parametermodeller senere i år. 

Han forklarte at målet er å forbedre ytelsen til LLM med større modeller som er i stand til å lage bedre forbindelser eller som har null-shot-spørring og sterkere kontekstuell forståelse av regionale nyanser.

Teo bemerket mangelen på robuste benchmarks som er tilgjengelige i dag for å evaluere effektiviteten til en AI-modell, et tomrom Singapore også ser etter. Han la til at AISG tar sikte på å utvikle beregninger for å identifisere om det er skjevhet i Asia-fokuserte LLM-er.

Når nye benchmarks dukker opp og teknologien fortsetter å utvikle seg, vil nye iterasjoner av SEA-LION bli utgitt for å oppnå bedre ytelse. 

Også: Singapore øker AI med kvantedatabehandling og datasentre

Bedre relevans for organisasjoner 

< p>Som driveren bak regional LLM-utvikling med SEA-LION, spiller Singapore en nøkkelrolle i å bygge et mer inkluderende og kulturelt bevisst AI-økosystem, sa Charlie Dai, visepresident og hovedanalytiker i markedsundersøkelsesfirmaet Forrester.

Han oppfordret landet til å samarbeide med andre regionale land, forskningsinstitusjoner, utviklermiljøer og industripartnere for ytterligere å forbedre SEA-LIONs evne til å møte spesifikke utfordringer, samt fremme bevissthet om fordelene.

I følge Biswajeet Mahapatra, en hovedanalytiker ved Forrester, er India også ute etter å bygge sin egen grunnmodell for å bedre støtte sine unike krav. 

"For et så mangfoldig land som India, modeller som er bygget andre steder vil ikke møte de ulike behovene til den mangfoldige befolkningen," Mahapatra bemerket. 

Ved å bygge grunnleggende AI-modeller på nasjonalt nivå, la han til at den indiske regjeringen ville være i stand til å tilby større tjenester til innbyggerne, inkludert velferdsordninger basert på ulike parametere, forbedret avling ledelse og helsetjenester for fjerntliggende deler av landet. 

Videre sikrer disse modellene datasuverenitet, forbedrer offentlig sektors effektivitet, øker nasjonal kapasitet og driver økonomisk vekst og kapasiteter på tvers av ulike sektorer, som medisin, forsvar og romfart. Han bemerket at indiske organisasjoner allerede jobbet med proofs of concept, og at startups i Bangalore samarbeider med Indian Space Research Organization og Hindustan Aeronautics for å bygge AI-drevne løsninger. 

Asiatiske grunnmodeller kan fungere bedre på oppgaver relatert til språk og kultur, og være kontekstspesifikke for disse regionale markedene, forklarte han. Med tanke på at disse modellene er i stand til å håndtere et bredt spekter av språk, inkludert kinesisk, japansk, koreansk og hindi, kan det være fordelaktig å utnytte asiatiske grunnleggende modeller for organisasjoner som opererer i flerspråklige miljøer, la han til.

Dai forventer at de fleste organisasjoner i regionen vil ta i bruk en hybrid tilnærming, ved å benytte både Asia-Stillehavs- og amerikanske grunnmodeller for å drive sine AI-plattformer. 

Videre bemerket han at som en generell praksis, selskaper følger lokale forskrifter rundt personvern; tappemodeller som er opplært spesielt for regionen, støtter dette, siden de allerede kan være finjustert med data som overholder lokale personvernlover. 

I sin nylige rapport om Asia-fokuserte fundamentmodeller, som Dai var hovedforfatter av, beskrev Forrester dette området som “raskt voksende”," med konkurransedyktige tilbud som har en annen tilnærming til sine nordamerikanske kolleger, som bygde modellene deres med lignende adopsjonsmønstre. 

"I Asia-Pacific har hvert land varierte kundekrav, flere språk , og regulatoriske overholdelsesbehov," står det i rapporten. “Grunnelsesmodeller som Baidu's Ernie 3.0 og Alibaba's Tongyi Qianwen har blitt trent på flerspråklige data og er dyktige til å forstå nyansene til asiatiske språk.”

Rapporten fremhevet at Kina for tiden leder produksjonen med mer enn 200 fundamentmodeller. Den kinesiske regjeringens vektlegging av teknologiselvavhengighet og datasuverenitet er drivkreftene bak veksten.

Andre modeller dukker imidlertid raskt opp over hele regionen, inkludert Wiz.ai for Bahasa Indonesia og Sarvam AIs OpenHathi for regionale indiske språk og dialekter. Ifølge Forrester er Line, NEC og det venturestøttede oppstartsselskapet Sakana AI blant dem som lanserer grunnmodeller i Japan. 

"For de fleste bedrifter vil det å anskaffe grunnmodeller fra eksterne leverandører være norm," Dai skrev i rapporten. “Disse modellene fungerer som kritiske elementer i det større AI-rammeverket, men det er viktig å erkjenne at ikke alle grunnmodeller er av samme [kaliber]. 

Også : Google planlegger en investering på 2 milliarder dollar for utbygging av datasenter og sky i Malaysia

“Modelltilpasning mot spesifikke forretningsbehov og lokal tilgjengelighet i regionen er spesielt viktig for firmaer i Asia-Stillehavet,” fortsatte han. 

Dai bemerket også at profesjonelle tjenester tilpasset lokal forretningskunnskap er nødvendig for å lette dataadministrasjon og modellfinjustering for bedrifter i regionen. Han la til at økosystemet rundt lokale fundamentmodeller derfor vil ha bedre støtte i lokale markeder.

Rowan Curran, Forresters senioranalytiker, la til: “Administrasjonen av grunnmodeller er kompleks og selve grunnmodellen er ikke en sølvkule. Det krever omfattende evner på tvers av dataadministrasjon, modellopplæring, finjustering, service, applikasjonsutvikling og styring, som omfatter sikkerhet, personvern, etikk, forklarbarhet og overholdelse av regelverk. Og små modeller er kommet for å bli."

Han rådet også organisasjoner til å ha "et helhetlig syn i evalueringen av grunnmodeller" og opprettholde en "progressiv tilnærming" ved å ta i bruk gen AI. Ved evaluering av grunnmodeller anbefalte Curran selskaper å vurdere tre nøkkelkategorier: tilpasningsevne og utrullingsfleksibilitet; virksomhet, for eksempel lokal tilgjengelighet; og økosystem, for eksempel gjenvinningsutvidet generasjon (RAG) og API-støtte. 

Opprettholde human-in-the-loop AI

På spørsmål om det var nødvendig for store LLM-er å bli integrert med asiatisk-fokuserte modeller – spesielt ettersom selskaper i økende grad bruker gen AI for å støtte arbeidsprosesser som rekruttering – understreket Teo viktigheten av ansvarlig AI adopsjon og styring.

"Uansett applikasjonen, hvordan du bruker den og resultatene, må mennesker være ansvarlige, ikke AI," han sa. “Du er ansvarlig for resultatet, og du må være i stand til å artikulere hva du gjør for å [holde AI] trygg.”

Han uttrykte bekymring for at dette kanskje ikke er tilstrekkelig ettersom LLM-er blir en del av alt, fra å vurdere CV-er til å beregne kredittscore.

"Det er foruroligende at vi ikke vet hvordan disse modellene fungerer på et dypere nivå," han sa. “Vi er fortsatt i begynnelsen av LLM-utviklingen, så forklaring er et problem.”

Han fremhevet behovet for rammer for å muliggjøre ansvarlig AI—ikke bare for overholdelse, men også for å sikre at kunder og forretningspartnere kan stole på AI-modeller som brukes av organisasjoner. 

Dessuten: Generativ AI kan skape mer arbeid enn det sparer

Som Singapores statsminister Lawrence Wong bemerket under AI Seoul Summit  forrige måned, må risikoer håndteres for å vær på vakt mot potensialet for AI til å bli useriøs — spesielt når det kommer til AI-innebygde militære våpensystemer og fullt autonome AI-modeller.

"Man kan se for seg scenarier der AI blir useriøs eller rivalisering mellom land fører til utilsiktede konsekvenser," sa han, mens han oppfordret nasjoner til å vurdere AI-ansvar og sikkerhetstiltak. Han la til at “AI-sikkerhet, inkludering og innovasjon må utvikle seg samtidig.”

Når land samles om sin felles interesse for å utvikle AI, understreket Wong behovet for regulering som ikke kveler potensialet til å drivstoff innovasjon og internasjonalt samarbeid. Han tok til orde for å samle forskningsressurser, og pekte på AI-sikkerhetsinstitutter rundt om i verden, inkludert i Singapore, Sør-Korea, Storbritannia og USA, som bør samarbeide for å løse vanlige bekymringer.