L’IA des chercheurs de débattre de l’éthique de partage de programmes potentiellement dangereux

Une décision récente du laboratoire de recherche OpenAI à la limite de la sortie d’un nouvel algorithme a provoqué une polémique dans l’IA communauté.

À but non lucratif, dit-il décidé de ne pas partager la version complète du programme, un texte-algorithme de génération nommée GPT-2, en raison de préoccupations sur “applications malveillantes.” Mais beaucoup de IA chercheurs ont critiqué la décision, en accusant le laboratoire d’exagérer le danger posé par le travail et par inadvertance, attisant “l’hystérie de masse” à propos de l’IA dans le processus.

Les chercheurs plaisanté en disant que leur dernier travail extraordinaire a été tout simplement trop dangereux de partager

Le débat est vaste et parfois controversés. Il a même tourné dans un peu de mème chez les IA des chercheurs, qui a plaisanté en disant qu’ils ont eu une percée fulgurante dans le laboratoire, mais les résultats ont été trop dangereux de le partager pour le moment. Plus important encore, elle a mis en évidence un certain nombre de défis pour la communauté dans son ensemble, y compris la difficulté de communiquer les nouvelles technologies, avec la presse, et le problème de l’équilibre entre l’ouverture à la divulgation responsable.

Le programme au centre de toute cette agitation est relativement simple. GPT-2 est le dernier exemple d’une nouvelle classe de texte-algorithmes de génération, qui devraient avoir un impact important dans l’avenir. Lorsque nourris avec un prompt comme un titre ou la première ligne d’une histoire, GPT-2 produit un texte qui correspond à l’entrée. Les résultats sont variées mais souvent étonnamment cohérente. De fausses nouvelles histoires, par exemple, imiter le ton et la structure de vrais articles, complet avec inventé les statistiques et citations de fait les sources.

Il est, à bien des égards, un outil d’amusement avec le pouvoir de plaisir et de surprise. Mais il n’a pas n’importe où près de la capacité de l’homme à comprendre et à produire un texte. Il génère le texte, mais ne le comprennent pas. OpenAI et à l’extérieur des experts sont d’accord que ce n’est pas une avancée en soi, mais plutôt un brillamment exécuté exemple de ce que la pointe de la génération de texte peut faire.

OpenAI est restreint pour des raisons à la libération, comme la possibilité pour des programmes comme GPT-2 pour créer des “trompeurs articles de presse” ainsi que d’automatiser le spam et les abus. Pour cette raison, bien qu’ils ont publié un article décrivant le travail aussi bien avec une “petite” version du programme, les chercheurs ont retenu les données d’entraînement et le modèle complet. Dans le généralement ouvert par défaut du monde de la recherche en IA, où le code, les données et les modèles sont partagés et discutés largement, la déplacer et OpenAI raisonnement, a attiré beaucoup d’attention.

Quelques exemples de GPT-2 répondre aux invites de texte:

Affichage De La Grille

Les arguments contre OpenAI décision du

La critique s’articule autour de quelques points clés. Tout d’abord, en refusant le modèle, OpenAI est d’arrêter les autres chercheurs de la réplication de leur travail. Deuxièmement, le modèle lui-même ne pose pas comme une menace, comme le OpenAI dit. Et la troisième, OpenAI n’ont pas suffi à contrebalancer les médias ont tendance à l’exagération et de déformer ce genre de IA nouvelle.

Le premier point est assez simple. Bien que l’apprentissage de la machine est relativement démocratique champ, avec lone chercheurs en mesure de livrer surprenantes découvertes, au cours des dernières années, il y a de plus en plus l’accent sur les ressources à forte intensité de recherche. Des algorithmes tels que GPT-2 sont créés à l’aide d’énormes quantités de puissance de calcul et de grands ensembles de données, qui sont coûteux. L’argument est que si le bien financé par les laboratoires comme OpenAI ne partagent pas leurs résultats, il appauvrit le reste de la communauté.

Les universitaires ne peuvent pas rivaliser si les grands laboratoires de retenir leur travail

“Il est mis universitaires à un gros désavantage,” Anima Anandkumar, une IA professeur à Caltech et directeur de l’apprentissage machine de recherche de Nvidia, a déclaré à The Verge. Dans un billet de blog, Anandkumar dit OpenAI a été efficacement à l’aide de son pouvoir de “rendre ML de recherche plus fermé et inaccessible.” (Et dans un tweet de répondre à OpenAI de l’annonce, elle a même été plus franche, l’appel de la décision “Malveillant BS.”)

D’autres dans le domaine de l’écho de cette critique, en faisant valoir que, dans le cas de potentiellement dangereux de la recherche, de publication ouverte est d’autant plus important, que d’autres chercheurs peuvent chercher des défauts dans le travail et de trouver des contre-mesures.

Parlant de La Verge, OpenAI de la recherche scientifique Miles Brundage, qui travaille sur l’impact sociétal de l’intelligence artificielle, a déclaré que le laboratoire était “conscient” de ce genre de compromis. Il a dit par mail que le laboratoire était d’examiner les moyens pour “alléger” le problème de l’accès limité, en invitant de plus en plus de personnes pour tester le modèle, par exemple.

Anandkumar, qui a souligné qu’elle était exprimant à titre personnel, a également déclaré que OpenAI de la logique retenue pour le modèle n’a pas ajouté. Bien que la puissance de calcul nécessaire pour re-créer le travail est au-delà de la portée de la plupart des universitaires, il serait relativement facile pour n’importe quel déterminé ou bien financés groupe à obtenir. Ce seraient ceux qui pourraient bénéficier d’abuser de l’algorithme, comme les états-nations d’organisation en ligne des campagnes de propagande.

La menace de l’IA être utilisé pour automatiser la création de spam et de la désinformation est une réelle menace, dit Anandkumar, “mais je ne pense pas que la limitation de l’accès à ce modèle particulier pour résoudre le problème.”

Delip Rao, un expert dans le texte de la génération qui a travaillé sur des projets pour détecter les fausses nouvelles et de la désinformation à l’aide de l’IA, de la accepte que les menaces OpenAI décrit, sont exagérées. Il note que, avec de fausses informations, par exemple, la qualité du texte est rarement un obstacle, comme beaucoup de ce genre de désinformation est faite par copie et coller les bouts d’autres histoires. “Vous n’avez pas besoin de fantaisie de l’apprentissage machine pour que,” dit-Rao. Et quand il s’agit de soustraire les filtres anti-spam, dit-il, la plupart des systèmes s’appuient sur un éventail de signaux, y compris des choses comme l’adresse IP de l’utilisateur et l’activité récente — et pas seulement de la vérification pour voir si le spammeur est écrit d’une façon convaincante.

“Les mots “trop dangereux” ont été négligemment jeté dehors.”

“Je suis conscient que des modèles comme [GPT-2] pourrait être utilisé à des fins malsaines, mais qui pourrait être dit de n’importe quel modèle similaire qui est sorti jusqu’à présent”, dit Rao, qui a aussi écrit un billet de blog sur le sujet. “Les mots “trop dangereux” ont été négligemment jetés ici sans beaucoup de pensée ou de l’expérimentation. Je ne pense pas que [OpenAI] passé suffisamment de temps à prouver qu’il était réellement dangereux.”

Brundage dit le laboratoire a consulté des experts de l’extérieur pour évaluer les risques, mais il a souligné que OpenAI était de faire une plus large cas pour les dangers de plus en plus sophistiqués texte systèmes de production, et pas seulement sur GPT-2 en particulier.

“Nous comprenons pourquoi certains y ont vu notre annonce comme exagéré, mais il est important de distinguer ce que nous avons dit de ce que les autres ont dit,” écrit-il. “Nous avons essayé de mettre en évidence à la fois les capacités actuelles de GPT-2 ainsi que les risques d’une classe plus large de systèmes, et nous aurions été plus précis sur cette distinction.”

Brundage note également que OpenAI veut tromper sur le côté de la prudence, et il dit que la libération de l’intégralité des modèles serait une “irréversible”. Dans une interview avec Le Point de la semaine dernière, OpenAI politique du directeur par rapport à la technologie pour le visage-la permutation des algorithmes utilisés pour créer deepfakes. Ces ont été libérés dans les projets open-source et ont été rapidement balayés par les individus à travers le monde pour leurs propres usages, y compris la création de la non-consensuel de la pornographie.

La difficulté de l’IA battage médiatique

Alors que les débats sur les dangers de texte-modèles de la génération et universitaires ont accès à aucune conclusion évidente, le problème de la communication les nouvelles technologies avec le public est encore plus épineux, disent les chercheurs.

Ne OpenAI de l’approche stoke mal informés de la couverture?

Les critiques de OpenAI l’approche de noter que le “trop dangereux pour la libération de l’angle” est devenu l’objet de beaucoup de couverture, en fournissant un bon titre, qui masquait la réelle menace posée par la technologie. Les titres comme “Elon Musk est OpenAI construit l’intelligence artificielle si puissant qu’il doit être enfermé pour le bien de l’humanité”, étaient monnaie courante. (Elon Musk association avec OpenAI est depuis longtemps un épouvantail pour le laboratoire. Il a co-fondé l’organisation en 2015, mais n’aurait eu peu de participation directe et a démissionné de son conseil d’administration l’année dernière).

Bien que frustré au sujet de la mauvaise couverture de leur domaine n’est guère une nouvelle expérience pour les scientifiques, les enjeux sont particulièrement importants quand il s’agit de la recherche en IA. C’est en partie parce que les conceptions à propos de l’IA sont donc hors-ligne avec des capacités réelles, mais aussi parce que le domaine est aux prises avec des questions telles que le financement et la réglementation. Si le grand public devient excessivement inquiet à propos de l’IA, pourrait-il entraîner une baisse significative de la recherche?

Dans cette optique, certains chercheurs disent que OpenAI de la stratégie pour le TPG-2 a activement contribué à la mauvaise récits. Ils ont aussi blâmer les journalistes pour ne pas avoir à mettre le travail dans son contexte. “J’ai l’impression que la presse a été amorcée avec le récit OpenAI les régler, et je ne pense pas que c’est un moyen objectif de créer des rapports,” dit-Rao. Il a également noté que l’embargo de la nature de l’œuvre (où les journalistes écrivent leurs histoires à l’avance et de les publier en même temps), ont contribué à la distorsion.

Anandkumar dit: “j’ai une profonde admiration pour les gens qui travaillent [à OpenAI] et c’est un travail intéressant, mais ça ne justifie pas ce type de l’attention des médias […] Il n’est pas sain pour la communauté et il n’est pas sain pour le public.”

OpenAI dit qu’il a fait de son mieux pour combattre préventivement ce battage médiatique, en soulignant les limites du système à des journalistes, en espérant qu’ils allaient trouver des défauts eux-mêmes lors de l’expérimentation avec le programme. “Nous savons que le modèle parfois les pauses, et nous avons dit à des journalistes ce, et nous espérons leur propre expérience avec cela conduirait à eux de noter les endroits où il se casse”, a déclaré Brundage. “Ce qui est arrivé, mais peut-être pas dans la même mesure que nous avons imaginé.”

D’autres IA labs ont été aux prises avec des problèmes similaires

Bien que OpenAI de la décision de restreindre la publication de GPT-2 ont été non conventionnelles, certains laboratoires sont même allés plus loin. L’Intelligence de la Machine de l’Institut de Recherche (MIRI), par exemple, qui est axé sur l’atténuation des menaces de système d’intelligence artificielle, est devenu “nondisclosed-par-défaut” de novembre dernier, et il ne sera pas publier des travaux de recherche, sauf si il y a une “décision explicite” pour le faire.

Le laboratoire a défini un certain nombre de raisons à cela dans un long post de blog, mais il a dit qu’il voulait se concentrer sur le “deconfusion” — qui consiste à mettre les termes du débat sur l’IA des risques clair avant de s’engager plus largement sur le sujet. Il d’un air approbateur cité un membre du conseil d’administration qui décrit MIRI comme “assis reclusively par lui-même, tandis que la plupart laissant les questions de la politique, de la sensibilisation, et le degré d’influence de l’IA communauté de la sécurité a, pour les autres.”

C’est une approche très différente pour OpenAI, qui, même tout en limitant la sortie du modèle, a certainement fait de son mieux pour s’engager dans des questions plus larges.

Brundage dit que, malgré les critiques, OpenAI pense qu’il est “largement” pris la bonne décision, et il y aurait probablement des cas similaires dans le futur où les “préoccupations relatives à la sécurité ou à la limite de sécurité de notre publication de code/modèles/données.” Il note que, en fin de compte, le laboratoire pense qu’il est préférable d’avoir de la discussion avant que les menaces apparaissent qu’après, même si les critiques sont en désaccord avec leurs méthodes pour le faire.

Il ajoute: “Il y a beaucoup de pièces mobiles à cette décision que nous avons surtout vue comme: a nous de faire quelque chose qui aide OpenAI mieux faire face à cette classe de problèmes à l’avenir? La réponse à cette question est oui. Que les modèles sont de plus en plus puissante, de plus en plus d’organisations qui auront besoin de réfléchir à ces questions.”