Gmail är Smart att Komponera är en av Googles mest intressanta AI har i år, förutspår vad användarna kommer att skriva i e-post och erbjuder sig att avsluta sina meningar för dem. Men som många AI-produkter, det är bara så smart som den data man är utbildad på, och benägna att göra misstag. Det är därför Google har blockerat Smart Skriva från vilket tyder på könsrelaterat pronomen som “honom” och “henne” i e-post — Google är orolig att det kommer att gissa fel kön.
Reuters rapporterar att denna begränsning infördes efter att en forskare på företaget upptäckte problemet i januari i år. Forskaren var att skriva “jag träffa en investerare nästa vecka” i ett meddelande när Gmail föreslog en uppföljande fråga, “vill du träffa honom,” misgendering investeraren.
Gmail product manager Paul Lambert till Reuters att hans team försökt att åtgärda det här problemet på ett antal sätt, men ingen var tillräckligt tillförlitlig. I slutet, säger Lambert, den enklaste lösningen var att helt enkelt ta bort dessa typer av svar alla tillsammans, en ändring som Google säger påverkar färre än en procent av Smarta Komponera förutsägelser. Lambert berättade för Reuters att det lönar sig att vara försiktig i de fall som dessa som kön är en “stor sak” att göra fel.
Gmail är könsdiskriminering är ett litet exempel av ett mycket större problem
Denna lilla bugg är ett bra exempel på hur programmet byggs med hjälp av maskininlärning kan reflektera och förstärka samhällets fördomar. Som många AI-system, Smart Komponera lär sig genom att studera tidigare uppgifter, kamma igenom gamla mail för att hitta vilka ord och fraser som det ska föreslå. (Dess syster-funktionen Smart Svar, inte samma sak att föreslå lagom storlek svar till e-post.)
I Lambert exempel, det verkar Smart att Komponera hade lärt sig från tidigare data som investerare mer benägna att vara manliga än kvinnliga, så felaktigt förutspådde att detta var för.
Det är en relativt liten tabbe, men visar på ett mycket större problem. Om vi litar på förutsägelser som gjorts av algoritmer tränat med tidigare uppgifter, då vi troligen kommer att upprepa tidigare misstag. Gissa fel kön i ett e-postmeddelande inte har stora konsekvenser, men vad om AI-system för att fatta beslut inom områden som hälso-och sjukvård, sysselsättning, och domstolarna? Bara förra månaden rapporterades det att Amazon hade att skrota ett internt verktyg för att rekrytera utbildade med hjälp av maskininlärning eftersom det var partisk mot kvinnliga kandidater. AI bias kan kosta dig ditt jobb, eller värre.
För Google problemet är potentiellt enorma. Företaget integrerar algoritmisk bedömningar i flera av sina produkter och säljer maskin verktyg för lärande runt om i världen. Om en av dess mest synliga AI funktioner är att göra sådana triviala misstag, varför ska konsumenterna har förtroende för företagets andra tjänster?
Bolaget har uppenbarligen sett dessa frågor kommer. I en hjälpsida för Smarta Komponera den varnar användare att AI modeller använder “kan också spegla mänskliga kognitiva fördomar. Att vara medveten om att detta är en bra start, och samtal kring hur man ska hantera det pågår.” I detta fall, även om företaget inte har fast mycket — bara bort möjligheten för systemet att göra ett misstag.