Som artificiell intelligens förökar, företag och regeringar sammanställning av enorma datamängder för att mata sina AI initiativ.
Även om integritet är inte ett nytt koncept inom design, tillväxten av aggregerade data förstorar integritet utmaningar och leder till extrema etiska risker som oavsiktligt byggnad partisk AI-system, bland många andra.
Integritet och artificiell intelligens är både komplexa ämnen. Det finns inget enkelt svar eftersom lösningar ligga på att flytta och konfliktfyllda skärningspunkten mellan teknik, kommersiella, offentliga politiken, och till och med individuella och kulturella attityder.
Med tanke på denna komplexitet, som jag bjudit in två fantastiska människor att dela med sig av sina tankar i en CXOTALK samtal om integritet och AI. Titta på den inbäddade videon ovan att delta i hela diskussionen, som var Episod 229 CXOTALK.
Michelle Dennedy är Chief Privacy Officer på Cisco. Hon är en advokat, författare av boken Integritet Ingenjör Manifestet, och en av världens mest respekterade experter på integritet engineering.
David Bray är Chef Ventures Officer vid National Geospatial-Intelligence Agency. Tidigare var han en Eisenhower Kolleger och Chief Information Officer på Federal Communications Commission. David är en av de främsta agenter för förändring i den AMERIKANSKA federala regeringen.
Här är redigerade utdrag från konversationen. Du kan läsa hela protokollet CXOTALK webbplats.
Vad är integritet engineering?
Michelle Dennedy: Privacy by Design är en politiskt koncept som hängde runt tio år på nätet och som kommer ut i Ontario, Kanada, med en kvinna som heter Ann Cavoukian, som var kommissarie vid Ontario.
Men under 2010 har vi infört begreppet på Data-Kommissionär Konferens i Jerusalem, och över 120 olika länder var eniga om att vi bör tänka på privatlivet inom bygg, i design. Det innebär att inte bara de tekniska verktyg som du köper och konsumerar, [men] hur man operationaliserar, hur du driver ditt företag, hur du organiserar kring ditt företag.
Och, få ner till företag på min sida av världen, integritet teknik är att använda de tekniker som av tekniska, sociala, den formella, den pedagogiska verktyg som vi har till förfogande, och i det mest grundläggande känsla av teknik för att säga, “Vad är det routinized system? Vad är det för ramar? Vilka är de metoder som vi använder för att mobilisera privacy-enhancing technologies som finns idag, och ser över den bearbetning livscykel för att bygga i och lösa för privatlivet utmaningar?”
Och jag kommer att dubbel-klicka på ordet “integritet.” Integritet, i funktionell mening, är de godkända behandling av personligt identifierbar data med hjälp av rättvisa, moraliska, juridiska och etiska normer. Så, vi tar ner var och en av dessa saker och säger, “Vad är det functionalized verktyg som vi kan använda för att främja att hela arsenalen och komplicerad rörelse av personligt identifierbar information över nätverk med alla dessa andra faktorer inbyggda i?” [Det är] om jag kan byta tyg ner här, och våra team kan bygga det i och göra det som routinized och osynlig, då resten av världen kan arbeta på mer nyanserad lager är också svårt och utmanande.
Där gör integritet skär med AI?
David Bray: Vad Michelle sagt om att bygga utanför och tänker om olika nät kommer till där vi är i dag, nu på 2017. Det handlar inte bara om enskilda maskiner gör korrelationer; det handlar om olika dataflöden som strömmade in från olika nätverk där du kan göra en korrelation som den enskilde har inte gett sitt samtycke till att med […] personligt identifierbar information.
För AI, det är bara sortera av nästa lager. Vi har gått från enskilda maskiner, nätverk, för att nu har vi något att leta efter mönster i en aldrig tidigare skådad möjlighet, att vid slutet av dagen, är det fortfarande går tillbaka till vad som kommer från vad den enskilde har gett sitt samtycke till? Vad som lämnas ut av dessa maskiner? Vad finns de data som strömmar?
En av de saker jag lärde mig när jag var i Australien, liksom i Taiwan som en Eisenhower Kolleger, det är en fråga om “Vad kan vi göra för att skilja denna inställning av vår personliga integritet behörigheter och vad vi vill göra med våra data, från där data är lagrade?” Eftersom vi nu har detta mer förenklad modell, “Vi samlokalisera på samma plattform,” och då kanske du får ett slutanvändaravtal som är trettio eller fyrtio sidor lång, och du behöver inte läsa det. Antingen acceptera eller inte acceptera; om du inte accepterar att du inte får den service och det finns ingen möjlighet att säga: “jag är villig att ha det som används i detta sammanhang, men inte i dessa sammanhang.” Och jag tror att det betyder Ai kommer att väcka frågor om sammanhang, när vi måste börja använda dessa data strömmar.
Hur fungerar “sammanhang” passar in i detta?
Michelle Dennedy: Vi skrev en bok för några år sedan kallade “Privacy Ingenjör Manifestet,” och i manifestet, den teknik som vi använt är baserad på riktigt grundläggande datavetenskap.
Innan vi kallade det för “computer science” som vi brukade kalla det “statistik och matematik.” Men att ens tänka på geometriska bevis, inget händer utan sammanhang. Och så tanken på att du har ett verktyg som är lämpliga för allt har helt enkelt aldrig arbetat inom verkstadsindustrin. Du skulle inte bygga en bro med bara naglarna och inte använda hammare. Du skulle inte tänka på att sätta något i djungeln som var byggd på samma sätt som en struktur som du skulle bygga i Arizona.
Så, funderar på att använda-fall och sammanhang med data om människor, och att skapa mänskliga erfarenheter, är allt. Och det gör en mycket vettigt. Om du tänker på hur vi är som regleras främst i USA, vi ska lämna bankirer av för ett ögonblick, eftersom de är av olika organ, men Federal Communications Commission, Federal Trade Commission, så vi funderar på att kommersiella intressen, vi funderar på att kommunikation. Och kommunikation är mycket bristfällig varför? Eftersom det är människor som gör allt kommunicerar!
Så, varje gång du pratar om något som är så mänskliga och humana som bearbetning av information som påverkar liv och kulturer och handel med människor, du kommer att behöva för att verkligen över rotera på sammanhang. Det betyder inte att alla får en specialitet sak, men det betyder inte att alla får en bil i valfri färg som de vill, så länge den är svart.
David Bray: Och jag vill förstärka vad som Michelle säger. När jag kom till FCC i slutet av 2013, vi betalade för människor att frivilligt vad deras bredband med hastigheter som var i vissa väljer du områden på grund av att vi ville se att de skulle få bredband hastighet som de var lovade. Och som kostar staten pengar, och det tog en hel del arbete, och så att vi på ett effektivt sätt ville lyfta upp en app som kan göra det möjligt för människor att crowdsource och om de ville se vad deras mål var och dela det frivilligt med FCC. Inser att om jag stod upp och sade: “Hej! Jag är med den AMERIKANSKA regeringen! Skulle du vilja ha en app […] för att din bredbandsanslutning?” Kanske inte är så lyckad.
Men med hjälp av de principer som du sa om sekretess teknik och integritet design, en, vi gjorde appen öppen källkod så att folk kunde titta på koden. Två, vi gjorde det så att, när vi utformade kod, det gjorde inte fånga din IP-adress, och det visste inte vem du var i en fem-km-radie. Så, det gav lite oskärpa din faktiska, specifik plats, men det var ändå tillräckligt bra för att informera om eller inte bredbandshastighet som önskas.
Och när vi gjorde det, även våra regler och villkor var bara två sidor lång, som, återigen, att vi tappade handsken och sade, “När var sista gången du gick till något på internet som bara var två sidor lång?” Rulla ut, som ett resultat, slutade med att den tredje mest nedladdade appen bakom Google Chrome eftersom det var folk som tittade på koden och sade, “Ja, sannerligen, de har privacy by design.”
Och så tror jag att den här principen om privacy by design är att göra det erkännande som en, det är inte bara kryptering men sedan två, det är inte bara juridisk text. Kan du visa något som ger människor förtroende, att vad du gör med deras data är uttryckligen vad de har gett sitt samtycke till? Detta är, för mig, är vad som behövs för AI [som] är, kan vi göra samma sak som visar dig vad som händer med din data, och ger dig en möjlighet att väga in om du vill det eller inte?
Gör AI kräver en ny nivå av informationssäkerhet?
David Bray: Så, jag ska ge det enkla svaret är “Ja.” Och nu ska jag gå längre än så.
Så, flytta tillbaka till första vad som Michelle sa, jag tycker det är bra att packa upp AI är många olika saker. Det är inte en monolitisk sak, och det är värt att besluta talar vi om helt enkelt maskininlärning på hastighet? Vi talar om neurala nätverk? Detta är viktigt, för fem år sedan, för tio år sedan, för femton år sedan, den stora mängden data som var tillgängliga för att du fanns ingenstans i närheten av vad det är just nu, och än mindre vad det kommer vara om fem år.
Om vi håller just nu på ca 20 miljarder nätverksanslutna enheter i ansiktet av planeten i förhållande till 7,3 miljarder människor, uppskattningar på mellan 75 och 300 miljarder enheter på mindre än fem år. Och så tror jag att vi är i början av att ha dessa ökade oron om etik och säkerhet av data. Scott fråga: eftersom det är bara vi instrumenting oss själva, vi är instrumenting våra bilar, våra kroppar, våra hem, och detta ger upphov till enorma mängder av frågor om vad maskiner kan göra av denna dataström. Det är också bara ren processorkapacitet. Jag menar, förmågan att göra petaflop och nu exaflops och utanför, jag menar, det var bara inte närvarande för tio år sedan.
Så, med det sagt, frågan om säkerhet. Det är säkerhet, men också att vi behöver ett nytt ord. Jag hörde i Skandinavien, de pratar om integritet och att vara integrerad. Det är verkligen en fråga om integritet av data: Har du gett sitt medgivande till att ha det som används för ett visst ändamål? Så, jag tror att AI skulle kunna spela en roll för att göra känsla av om uppgifter behandlas på ett säkert sätt.
Eftersom hela utmaningen är just nu, för de flesta av den behandling som vi har för att dekryptera det vid en viss tidpunkt för att börja vettigt av det och kryptera det igen. Men också, är det som behandlas med integritet och nödvändig för den enskilda individen? Har individen gett sitt samtycke?
Och så en av de saker som tog när jag var i samtal i Taiwan är frågan, “Tja, det gick inte att vi helt enkelt har en öppen källkod AI, där vi ger vår tillåtelse och vårt samtycke till AI för att få vår data användas för vissa ändamål?” Det kan till exempel säga: “Okej, ja jag förstår att du har en uppsättning data som serveras med denna plattform, den andra plattformen över här, och denna plattform över här. Är du villig att ha som data samlas för att förbättra din städning?” Och du kan säga “nej”. Han säger, “Okej. Men skulle du vara villig att göra det om pulsen sjunker under en viss nivå och att du är i en bilolycka?” Och du kan säga: “ja.”
Och så, det enda sätt som jag tror att vi någonsin skulle kunna göra sammanhanget är inte att gå ner en serie av checklistor och försöker kolla alla möjliga scenarier. Det kommer att vara en maskin som kan tala till oss och har samtal om vad vi gör och inte som nu vill ha gjort med våra data.
Vad om riskerna med att skapa bias i AI?
Michelle Dennedy: Madeleine Clare Elish skrev en rapport som kallas “Moralisk Skada Zoner”, och jag bara älskar även den visuella av det. Om du tycker om bilar och vad vi vet om människan inte köra bil, de krossa i varandra i vissa kända sätt. Och det sätt som vi har blivit bättre och sänkte dödsfall av kända bil kraschar är med hjälp av fysik och geometri för att utforma en hålighet i olika delar av bilen där för det finns inget som kommer att explodera eller fatta eld, etc. som en effekt deformationszonen. Så all den kraft och den energi som går bort från passagerare och i den fysiska deformationszonen av bilen.
Madeleine arbetar på exakt vad vi pratar om. Vi vet inte när den är omedveten eller oavsiktlig bias eftersom den är omedveten eller oavsiktlig snedvridning. Men, vi kan design-i etiska deformationszoner zoner, där vi är med saker som att testa för utfodring, precis som vi gör med sandlåda eller vi gör med dummy-data innan vi går live i andra typer av IT-system. Vi kan besluta att använda AI-teknik och lägg i kända problem för omskolning som databas.
Jag ska ge dig Watson som ett exempel. Watson är inte en sak. Watson är ett varumärke. Sättet som Watson datorn slå Fara tävlande är genom att lära sig Wikipedia. Så, genom att bearbeta stora mängder angivna uppgifter, du vet, med tanke på vad nivåer av äkthet som mönster på.
Vad Watson inte kan göra är att selektivt glömma. Så, din hjärna och din neurala nätverk är bättre på att glömma data och ignorerar data än det är för bearbetning av data. Vi försöker göra vår dator simulera en hjärna, förutom att hjärnan är bra på att glömma. AI är inte bra på det, men ändå. Så, kan du sätta skattelagstiftningen, som skulle fylla tre festlokaler om du skriva ut den på papper. Du kan mata in en AI typ av dataset, och du kan träna det i vad som är känt belopp av pengar och någon ska betala i en given kontext?
Vad du inte kan göra, och vad jag tror skulle vara fascinerande om vi klarade oss, är om vi kan tvista uppgifter om alla fuskare. Vilka är de vanligaste fusk? Hur gör vi för att fuska? Och vi vet att de som får fångas, men ännu viktigare, hur gör […] få fångats? Det är saker där jag tror att du behöver för att utforma en moralisk och etisk deformationszonen och säger, “Hur kan personer som aktivt använder system?”
Begreppet ” the ghost in the machine: hur gör maskiner som är väl utbildade med data över tid uppleva förnedring? Antingen är de inte att dra från datamängder eftersom utrustningen är helt enkelt … Du vet, de som inte läser bandstationer längre, eller det är inte som matas från nya uppgifter, annars kan vi inte ta bort gamla data. Det finns en hel del olika tekniker här som jag tror har ännu inte sättas i skala att jag tror att vi behöver tänka på innan vi är alltför förlita sig [AI], utan mänsklig kontroll och balans, och behandlas kontroller och balanser.
Hur löser vi det här bias problem?
David Bray: jag tror att det kommer att vara en stegvis strategi. Som en utgångspunkt, är du nästan måste ha motsvarande en mänsklig ombudsmannen – en serie av personer tittar på vad maskinen gör i förhållande till de data som matas in.
Och du kan göra detta i flera sammanhang. Det kan bara vara interna för företaget, och det är bara att se till att maskinen matas inte leder till beslut som är avskyvärda eller felaktiga.
Eller, om du vill vinna allmänhetens förtroende, dela vissa uppgifter, och dela några av de resultat men något abstrakt som är kopplad till någon enskild och säger bara, “Dessa typer av personer ansökt om lån. Dessa typer av lån beviljades,” så kan man se till att maskinen inte hinging på en del fördomar som vi inte vet om.
På längre sikt, även om du har att skriva att ombudsmannen. Vi måste kunna iscensätta en AI att fungera som en ombudsman för AI själv.
Så egentligen, vad jag vill se är inte bara AI som bara har en, monolitiskt system, det kan vara en som gör det beslut, och sedan en annan som tjänstgör som Benjamin Syrsa som säger, “Detta är inte vettigt. Dessa människor är otrogen”, och det är att peka ut de brister i systemet. Så, vi behöver motsvarande en Benjamin Syrsa för AI.
CXOTALK ger dig världens mest innovativa företagsledare, författare och analytiker för en fördjupad diskussion inte tillgänglig någon annanstans. Njut av alla våra program och ladda ned podcasten från iTunes och sprid aker.