Noll
IBM Research föreslår att artificiell intelligens bör komma med ett öppet dokument som anger härstamning, specifikationer och anvisningar.
Under sin Pålitliga AI ansträngning, IBM Research publicerade ett papper som kräver leverantörens försäkran om överensstämmelse (SDoC) för AI tjänster. Denna försäkran skall innehålla uppgifter om prestanda, säkerhet och säkerhet.
Tid att bryta upp AI ‘ s black box, och hålla den öppen | Vad är AI? Allt du behöver veta om Artificiell Intelligens | maskininlärning? | Djupt lärande
I andra branscher, dessa dokument finns och även om de är frivilliga i många fall är dessa insatser ofta blivit standard. Tänk på Energy Star eller U. S Consumer Product Safety Commission eller bond betyg i den finansiella sektorn. En SDoC skulle redogöra för den säkerhet och produkt testning som har gått på med AI och information om de underliggande modeller.
Ett team av IBM-forskare skrev i en uppsats:
En SDoC för AI tjänst kommer att innehålla avsnitt om prestanda, säkerhet och säkerhet. Prestanda kommer att omfatta lämplig noggrannhet eller risk åtgärder. Säkerhet, som diskuteras i den minimering av både risk och epistemic osäkerhet, kommer att innehålla explainability, algoritmisk rättvisa och robusthet för att begreppet drift. Säkerhet kommer att omfatta robusthet för att kontradiktoriska attacker. Dessutom kommer det att lista hur tjänsten skapades, utbildade, och distribueras tillsammans med vilka scenarier som det testades på, hur det kommer att svara för att icke-testade scenarier och riktlinjer som anger vilka uppgifter det bör och inte bör användas till.
I teorin kan dessa dokument skulle också möjliggöra en mer flytande AI service marketplace och överbrygga brister i informationen mellan konsumenter och leverantörer. IBM Research sade att SDoC bör vara frivilligt.
Ett annat resultat från SDoCs skulle vara mer förtroende i AI. Konsumenten litar på att bromsarna fungerar på en bil och att autopiloten skall fungera väl i ett flygplan. Detta förtroende bygger på standardisering, transparens och kontroll. AI saknar att lita på idag, och IBM Research konstaterade att “konsumenterna ännu inte lita på AI som de litar på annan teknik.”
Gratis ladda ner PDF: Data, AI, IoT: framtiden för detaljhandeln | Inside the black box: att Förstå AI beslutsfattande
IBM Research läggas till:
Att göra tekniska framsteg på säkerhet och trygghet är nödvändiga men inte tillräckliga för att uppnå tillit i AI, men de framsteg som måste åtföljas av möjligheten att mäta och kommunicera resultatet nivåer av service på dessa dimensioner på ett standardiserat och öppet sätt. Ett sätt att åstadkomma detta är att lämna sådan information via SDoCs för AI tjänster.
Och SDoC för AI tjänster skulle ta itu med frågor som följande:
Gör dataset som används för att träna tjänsten har ett datablad eller data uttalande?Var dataset och modellen kontrolleras för fördomar? Om ja, beskriv bias politik som kontrollerats, bias kontroll av metoder och resultat.Var någon bias begränsning som utförs på dataset? Om ja, beskriv begränsning metod.Är algoritm utgångar förklarliga/tolkningsbara? Om ja, förklara hur explainability uppnås (till exempel direkt förklaras modellen, lokala explainability, förklaringar via exempel).Vem är det som är målet användare av förklaringen (machine learning expert, domän expert, allmänna konsumenten, regulator, etc.)Var den tjänst som testats på några ytterligare data? De har ett datablad eller data uttalande? Om ja, beskriv de testmetoder.Var tjänsten kontrolleras för robusthet mot kontradiktoriska attacker? Om ja, beskriv robusthet politik som kontrollerats, kontroll av metoder och resultat.Är användning av data från serviceverksamhet behållit/lagras/förvaras?Vad är det förväntade resultatet om fördelningen av uppgifterna avviker från den utbildning distributionen?Vilken typ av styrning som används för att spåra den allmänna arbetsflödet av data till AI service?
Det är fortfarande en hel del diskussion om den SDoC koncept, men en sådan rörelse skulle lägga till mer öppenhet till AI marknaden. Efter alla, företagsledare kommer att ha att hantera modeller som de har att lita ännu inte fullt ut förstår.
Infographic: 50 procent av företagen planerar att använda AI snart, men har inte räknat ut detaljer yetFive sätt ditt företag kan komma igång att genomföra AI och MLWhy AI och lärande måste vara en del av din digitala omvandling plansShould Amazon vara din AI och maskinen lärplattform?Skulle Google vara din AI och maskinen lärplattform?Ska Microsoft vara din AI och maskinen lärplattform?Bör vara IBM din AI och maskinen lärplattform?
Relaterade Ämnen:
IBM
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
0