Twitter hat seine erste Algorithmus-Bias-Bounty-Challenge angekündigt, die Bargeldpreise zwischen 500 und 3.500 US-Dollar für diejenigen anbietet, die dem Social-Media-Riesen helfen können, eine Reihe von Problemen zu identifizieren.
Nach erheblichen Gegenreaktionen im vergangenen Jahr gab das Unternehmen im Mai zu, dass sein automatischer Zuschneidealgorithmus wiederholt schwarze Gesichter zugunsten von weißen ausgeschnitten hat. Laut einer Recherche von Twitter wurden auch Männer gegenüber Frauen bevorzugt. Mehrere Twitter-Nutzer bewiesen dies mit Bildern von sich selbst oder von berühmten Persönlichkeiten wie dem ehemaligen Präsidenten Barack Obama.
Rumman Chowdhury, Direktor von Twitter META, erklärte, dass das Unternehmen beschlossen habe, den Algorithmus zu ändern, und gab zu, dass Unternehmen wie Twitter oft “von unbeabsichtigten ethischen Schäden erfahren, sobald sie die Öffentlichkeit erreicht haben”.
Am Freitag , Chowdhury und Twitter META-Produktmanagerin Jutta Williams stellten den algorithmischen Bias-Bounty-Wettbewerb vor, der ihrer Meinung nach Teil des diesjährigen DEF CON AI Village war.
„Im Mai haben wir unseren Ansatz zur Identifizierung von Verzerrungen in unserem Auffälligkeitsalgorithmus (auch bekannt als unser Bildbeschneidungsalgorithmus) geteilt und unseren Code anderen zur Verfügung gestellt, um unsere Arbeit zu reproduzieren Anreize für die Community, potenzielle Schäden dieses Algorithmus zu identifizieren, die über das hinausgehen, was wir selbst identifiziert haben”, sagten die beiden.
Bei der Erstellung des Programms haben sie sich davon inspirieren lassen, wie die Forscher- und Hacker-Community dem Sicherheitsbereich dabei geholfen hat, Best Practices zur Identifizierung und Minderung von Sicherheitslücken zum Schutz der Öffentlichkeit zu entwickeln.
Sie sagten, Twitter wolle eine ähnliche Community aufbauen, die sich jedoch auf die Ethik des maschinellen Lernens konzentriert, die dem Unternehmen helfen wird, “ein breiteres Spektrum von Problemen zu identifizieren, als wir alleine in der Lage wären”.
“Mit dieser Herausforderung wollen wir bei Twitter und in der Branche einen Präzedenzfall für die proaktive und kollektive Identifizierung algorithmischer Schäden schaffen”, schreiben Chowdhury und Williams.
“Für diese Herausforderung teilen wir unser Salienzmodell und den Code, der verwendet wird, um einen Ausschnitt eines Bildes mit einem vorhergesagten maximal hervorstechenden Punkt zu generieren, erneut und bitten die Teilnehmer, ihre eigene Bewertung zu erstellen. Erfolgreiche Beiträge berücksichtigen sowohl quantitative als auch qualitative Methoden in ihrer Ansatz.”
Auf HackerOne gibt es eine Einreichungsseite, auf der die Leute weitere Informationen, die Rubrik, die zur Bewertung jedes Eintrags verwendet wird, und Details zur Teilnahme finden. Bewertet werden die Einsendungen von Ariel Herbert-Voss, Matt Mitchell, Peiter “Mudge” Zatko und Patrick Hall.
Der Gewinner des ersten Platzes erhält 3.500 $, der Gewinner des zweiten Platzes 1.000 $ und der dritte Platz 500 $. Für die innovativsten und verallgemeinerbarsten gibt es außerdem 1.000 US-Dollar Belohnungen. Die Gewinner des Wettbewerbs werden beim DEF CON AI Village-Workshop am 8. August bekannt gegeben.
Williams sagte gegenüber ZDNet, dass sie nicht nur mehr über die Funktion zum Zuschneiden von Fotos erfahren möchte, sondern auch erfahren möchte, was die Leute für “schädlich” halten. beinhaltet.
„Als Produktmanager bemühe ich mich, mich in die Lage der Menschen zu versetzen, die unsere Produkte verwenden oder von ihnen betroffen sind, um zu verstehen, was ein solches Wort bedeutet. Traditionell hören wir von Leuten, die sich bereits mit algorithmischen Verzerrungen beschäftigen – und ich bin Wir erwarten, dass wir von einer viel breiteren Gemeinschaft von Menschen hören, die viele Ansichten darüber teilen, was Schaden für sie bedeutet”, sagte Williams.
„Rumman brachte mir und unserem CTO die Idee nach einem Gespräch mit den Organisatoren von AI Village vor – es braucht ein ziemlich risikotolerantes Unternehmen, um so etwas zuerst zu starten. Die Twitter-Führung war bereit – sogar enthusiastisch viel Zeit, um die Deadline für die DEFCON einzuhalten, also haben wir beide sofort darüber nachgedacht, wie wir etwas ausrichten können, das wir innerhalb der wenigen Wochen veröffentlichen können, in denen wir eine Go/No-Go-Entscheidung treffen mussten.”
Sie fügte hinzu, dass der Wettbewerb Twitter viel klüger darüber machen wird, wie die nächste Veranstaltung ablaufen sollte, und aufschlussreich sein wird, um es für die Teilnehmer einfacher und integrativer zu machen.
Das Unternehmen hofft auch, mehr darüber zu erfahren, wie ihre Technologie möglicherweise sofort korrigiert werden muss, erklärte Williams, und mehr darüber, wie sie Schäden besser verhindern können. Das Team wird ein besseres Verständnis dafür erlangen, wie Algorithmen auf Verzerrungen getestet und bewertet werden können, sagte Williams.
Williams merkte an, dass es viele Unbekannte in dem aufstrebenden Studienbereich zu Verzerrungen durch maschinelles Lernen gibt und nur wenige Programme sich aktiv mit algorithmischen Risiken befassen.
“Ich hoffe, dass wir noch ein paar Unbekannte haben, an deren Lösung wir arbeiten können. Am wichtigsten ist, dass wir vielleicht lernen werden, mit dieser Community zusammenzuarbeiten, wie man Schäden besser messen und klassifizieren kann und was es braucht, um es zu validieren Berichte, Möglichkeiten zur Minderung und/oder Vermeidung neuer Schäden in der Zukunft – die wir alle an die Community weitergeben können“, sagte Williams.
“Dies wurde nicht allein zu unserem Vorteil durchgeführt – ich persönlich hätte nicht die Schweißeigenschaft hineingesteckt, wenn es nicht das Ziel der ultimativen Transparenz gegeben hätte.”
Leitfaden für Führungskräfte
Was ist maschinelles Lernen? Alles, was Sie wissen müssen
Hier erfahren Sie, wie es mit künstlicher Intelligenz zusammenhängt, wie es funktioniert und warum es wichtig ist.
Weiterlesen < /p>
Verwandte Themen:
Digitale Transformation CXO Internet der Dinge Innovation Unternehmenssoftware Smart Cities