AI forskere til debat om de etiske spørgsmål i forbindelse med deling af potentielt skadelige programmer

En nylig afgørelse fra research lab OpenAI at begrænse frigivelsen af en ny algoritme, der har forårsaget kontrovers i AI fællesskabet.

Nonprofit sagde, at det besluttet ikke at dele den fulde version af programmet, vil en tekst-algoritme til generering af opkaldt GPT-2, på grund af bekymring over “ondsindede programmer.” Men mange AI-forskere har kritiseret beslutningen, beskylder laboratoriet for at overdrive den fare, der er forbundet med arbejdet, og uforvarende fyring “massehysteri” om AI i processen.

Forskere jokede med, at deres seneste fantastiske arbejde var bare alt for farligt, at dele

Debatten har været omfattende og til tider konfliktfyldte. Det selv forvandlet til lidt af et meme blandt AI forskere, der spøgte, at de har haft et fantastisk gennembrud i laboratoriet, men resultaterne var alt for farligt, at dele i øjeblikket. Hvad vigtigere er, det er der fremhævet en række udfordringer for samfundet som helhed, herunder vanskeligheden ved at kommunikere nye teknologier med tryk på, og problemet med at balancere åbenhed med ansvarlig offentliggørelse.

Programmet i centrum af al den ballade, er relativt ligetil. GPT-2 er det seneste eksempel på en ny klasse af tekster generation af algoritmer, som forventes at få stor betydning i fremtiden. Når fodret med en prompt som en overskrift eller den første linje i en historie, GPT-2 producerer tekst, der matcher input. Resultaterne er forskellige, men ofte overraskende sammenhængende. Opdigtede historier, for eksempel, tæt efterligner tone og struktur, reelle artikler, komplet med opfandt statistik og citater fra made-up kilder.

Det er på mange måder en sjov værktøj, med magt til at glæde og overraske. Men det har ikke nogen steder i nærheden af evnen af mennesker til at forstå og producere tekster. Det genererer tekst, men ikke forstå det. OpenAI og uden eksperter er enige om, at det ikke er et gennembrud per se, men snarere en glimrende udført eksempel på, hvad cutting-edge tekst generation kan gøre.

OpenAI s begrundelse for at begrænse udgivelsen omfatter potentiale for programmer som GPT-2 til at skabe “vildledende nyheder” samt automatisere spam og misbrug. Af denne grund, mens de offentliggjort et papir, der beskriver arbejdet så godt med en “meget mindre” version af programmet, forskerne har tilbageholdt data, og den fulde model. I normalt åben-by-default verden af AI-forskning, hvor kode, data, og modellerne er delt og diskuteret bredt, flytte — og OpenAI argumentation — har tiltrukket sig en masse opmærksomhed.

Nogle eksempler på GPT-2 svarer til tekst bliver:

Gittervisning

Argumenterne imod OpenAI ‘ s afgørelse

Kritikken har drejet sig om et par vigtige punkter. For det første, ved at tilbageholde den model, OpenAI er at stoppe andre forskere fra gentage deres arbejde. For det andet, den model, der i sig selv ikke udgør så stor en trussel, som OpenAI siger. Og for det tredje, OpenAI ikke nok til at modvirke, at medierne har en tendens til at hype og fordreje denne form for AI nyheder.

Det første punkt er temmelig ligetil. Selv om machine learning er en relativt demokratiske område, med lone forskere i stand til at levere overraskende gennembrud i de seneste år, har der været et stigende fokus på ressource-intensive forskning. Algoritmer som GPT-2 er skabt ved hjælp af enorme mængder af computerkraft og store datasæt, som begge er dyre. Argumentet går på, at hvis velfinansieret labs som OpenAI ikke deler deres resultater, det skaber fattigdom i resten af samfundet.

Akademikere kan ikke konkurrere, hvis store labs tilbageholde deres arbejde

“Det er sat akademikere i en stor ulempe,” Anima Anandkumar, en AI professor på Caltech og direktør for machine learning forskning på Nvidia, fortalte Randen. I et blog-indlæg, Anandkumar sagde OpenAI var effektivt at bruge sin indflydelse til at “gøre ML forskning mere lukkede og utilgængelige.” (Og i en tweet, at svare OpenAI udmelding, hun var endnu mere ærlig, kalder beslutningen “Ondsindede BS.”)

Andre i området echo denne kritik, der argumenterer for, at, i tilfælde af potentielt skadelige forskning, åbne publikation er endnu mere vigtigt, så andre forskere kan søge efter fejl i arbejdet og komme med modforanstaltninger.

Tale til Randen, OpenAI forsker Km Brundage, der arbejder på de samfundsmæssige konsekvenser af kunstig intelligens, sagde lab var “fuldstændig klar” af denne form for trade-off. Han sagde, via e-mail, at laboratoriet var at overveje måder til at “afhjælpe” problemet med begrænset adgang, ved at invitere flere personer til at teste den model, for eksempel.

Anandkumar, der understregede, at hun talte i en personlig kapacitet, der også sagde, at OpenAI begrundelse for at tilbageholde den model ikke tilføje op. Selv om den computerkraft der er nødvendige for at genskabe det arbejde, der er uden for rækkevidde for de fleste akademikere, ville det være forholdsvis let for enhver, der er fastsat eller godt-finansierede gruppe for at få. Dette vil omfatte dem, der kunne have gavn af at misbruge den algoritme, som nationalstater organisering online propaganda kampagner.

Truslen om AI, der bruges til at automatisere oprettelsen af spam og misinformation er en reel trussel, siger Anandkumar, “men jeg tror ikke, der begrænser adgang til denne bestemte model vil løse problemet.”

Delip Rao, en ekspert i tekst generation, der har arbejdet på projekter for at afsløre falske nyheder og misinformation ved hjælp af AI, er enig i, at de trusler, OpenAI beskriver, er overdrevne. Han bemærker, at der med falske nyheder, for eksempel, at kvaliteten af den tekst, der er sjældent en hindring, som meget af denne form for misinformation er lavet ved at kopiere og indsætte stumper af andre historier. “Du behøver ikke fancy machine learning for det,” siger Rao. Og når det kommer til at unddrage spam-filtre, siger han, de fleste systemer er afhængige af en række signaler, herunder ting som en brugers IP-adresse og den seneste aktivitet — ikke bare kontrollere at se, om den spammer er at skrive overbevisende.

“Ordene” for farligt ” var tilfældigt kastet ud her.”

“Jeg er klar over, at modeller som [GPT-2], kan anvendes til andre formål, der er unwholesome, men det kunne være sagt af en lignende model, der er udgivet indtil videre,” siger Rao, der også skrev et blog-indlæg om emnet. “Ordene” for farligt ” var tilfældigt kastet ud her uden en masse tanker eller forsøg. Jeg tror ikke, [OpenAI] brugt nok tid på at bevise, at det faktisk var farligt.”

Brundage siger lab rådført sig med eksperter udefra til at måle risici, men han understregede, at OpenAI, var at lave en bredere tilfældet for de farer, der af stadig mere sofistikerede tekst-generation-systemer, ikke kun om GPT-2 specifikt.

“Vi forstår, hvorfor nogle så vores annoncering som overdrevet, men det er vigtigt at skelne mellem, hvad vi sagde fra, hvad andre sagde,” skrev han. “Vi har forsøgt at fremhæve både de nuværende kapaciteter af GPT-2, samt de risici, af en bredere klasse af systemer, og vi burde have været mere præcis på denne skelnen.”

Brundage bemærker også, at OpenAI ønsker at fejle på siden af forsigtighed, og han siger, at frigive den fulde modeller ville være en “irreversibel” flytte. I et interview med The Verge i sidste uge, OpenAI ‘ s politik direktør sammenlignet teknologi til ansigt-bytte-algoritmer, der bruges til at oprette deepfakes. Disse er udgivet som open source-projekter, og blev snart fejet op af enkeltpersoner over hele verden for deres egne anvendelser, herunder oprettelsen af uretmæssige pornografi.

Vanskeligheden af AI media hype

Mens debatten over de farer af tekst generation af modeller og akademiske adgang har ingen indlysende konklusion, at problemet med at kommunikere nye teknologier med befolkningen er endnu thornier, siger forskere.

Gjorde OpenAI tilgang stoke misinformeret dækning?

Kritikere af OpenAI tilgang bemærkes, at den “alt for farligt at frigive” vinkel blev fokus for meget dækning, der giver en saftig overskrift, der skjules den reelle trussel, teknologien. Overskrifter som “Elon Musk er OpenAI bygger kunstig intelligens så kraftigt, at det skal holdes låst op for det gode i menneskeheden”, der var fælles. (Elon Musk er en forening med OpenAI er en mangeårig bussemand for laboratoriet. Han medstifter af organisationen i 2015, men efter sigende havde lille direkte inddragelse og trak sig tilbage fra bestyrelsen sidste år.)

Selv om der bliver frustreret over dårlig dækning for deres felt er næppe en ny oplevelse for forskere, der står særligt højt, når det kommer til AI forskning. Dette er til dels fordi den offentlige forestillinger om AI er så ud-i-overensstemmelse med de faktiske kapaciteter, men det er også fordi området er kæmper med spørgsmål som finansiering og regulering. Hvis offentligheden bliver unødigt bekymrede for, om AI, kunne det føre til mindre relevant forskning?

I dette lys, nogle forskere siger, at OpenAI ‘ s strategi for GPT-2 bidraget aktivt til dårlige fortællinger. De har også skylden journalister for ikke at sætte arbejdet i sin rette sammenhæng. “Jeg føler, at pressen var primet med det narrative OpenAI set dem, og jeg tror ikke, det er en meget objektiv måde at skabe rapportering,” siger Rao. Han bemærkede også, at de er underlagt embargo arten af det arbejde, (hvor journalister kan skrive deres historier på forhånd, og udgive dem på samme tid) bidraget til forvrængning.

Anandkumar siger: “jeg har dyb beundring for de mennesker, der arbejder på OpenAI], og det er interessant arbejde, men det betyder ikke berettiger denne type opmærksomhed i medierne […] Det er ikke sundt for fællesskabet, og det er ikke sundt for den offentlige.”

OpenAI siger, at det gjorde sit bedste til forebyggende bekæmpelse af denne hype, der understreger, begrænsninger i systemet til journalister og håber de vil finde fejl sig selv, når de eksperimenterer med programmet. “Vi ved, at den model, der undertiden pauser, og vi fortalte journalister, og vi håbede, at deres egne erfaringer med, at det ville føre til dem at bemærke, at de steder, hvor det går i stykker,” sagde Brundage. “Dette skete, men måske ikke i samme omfang, vi havde forestillet os.”

Andre AI labs har taget livtag med lignende problemer

Selv om OpenAI s beslutninger om at begrænse frigivelsen af GPT-2 var ukonventionelle, nogle laboratorier har gået endnu længere. Maskinen Intelligence Research Institute (MIRI), for eksempel, som er fokuseret på at afbøde truslerne fra AI-system, blev “nondisclosed-by-default” som i November sidste år, og det vil ikke offentliggøre forskningsresultater, medmindre der er en “eksplicit beslutning” om at gøre det.

Laboratoriet er fastlagt en række årsager til dette i et længere blog-indlæg, men det sagde, at det ønskede at fokusere på “deconfusion” — det er at gøre vilkårene for debatten om AI risiko klar, før det driver mere bredt om emnet. Det billigende citeret for, at et bestyrelsesmedlem, der er beskrevet MIRI, som “sidder reclusively ud af sig selv, men for det meste forlader spørgsmål om politik, opsøgende arbejde, og hvor meget indflydelse AI sikkerhed samfund har, til andre.”

Dette er en meget anderledes tilgang til OpenAI, som, selv mens der begrænser frigivelsen af modellen, har helt sikkert gjort sit bedste for at engagere sig i bredere spørgsmål.

Brundage siger, at på trods af den kritik, OpenAI mener, at det er “stort set” har truffet den rigtige beslutning, og der vil sandsynligvis komme lignende sager i fremtiden, hvor “bekymringer omkring sikkerhed begrænse vores offentliggørelse af kode/modeller/data.” Han bemærker, at, i sidste ende, lab mener, at det er bedre at have den diskussion, før de trusler, der opstår efter, selv om kritikere er uenige med deres metoder til at gøre det.

Han tilføjer: “Der er så mange bevægelige dele til denne beslutning, at vi for det meste ser det som: har vi gøre noget, der hjælper OpenAI til bedre at håndtere denne klasse af problemer i fremtiden? Svaret til dette er ja. Som modeller bliver mere og mere kraftfuld, flere og flere organisationer bliver nødt til at tænke igennem disse spørgsmål.”