Zero
Boon s’est transformé en un fléau, comme l’explosion de la croissance de la taille des réseaux de neurones présente l’IA communauté avec déhanchée ordinateur de la charge de travail de l’impôt des ressources existantes.
Heureusement, la nouvelle année a débuté avec une pléthore de solutions pour rendre les réseaux de neurones plus faciles à gérer, à la fois pour la formation d’eux, et quand ils sont en cours d’exécution sur les appareils de répondre à des questions, connu comme le “inférence” la phase de l’apprentissage machine.
Aussi: l’IA de démarrage Petuum vise à industrialiser l’apprentissage de la machine
Une foule de documents à la fin de décembre et, cette semaine, de proposer une variété de solutions pour rendre les réseaux plus gérable. Elles comprennent, dans aucun ordre particulier:
Comprimant les mathématiques sont nécessaires pour calculer les poids du réseau de neurones, dans certains cas, une réduction de virgule flottante de 32 bits à 8 bits à virgule fixe (entier) de nombres, ou des “binarizing”, en les réduisant à 1 ou 0, ou à l’aide de “symétrie” de matrices, la réduction de la quantité de stockage nécessaire pour les représenter;
La “taille” des paramètres, les sens en enlevant une partie de la pondération et de la “fonction d’activation,” le calcul que fait un neurone donné dans le réseau neuronal de répondre aux données;
La réduction de la quantité de partage de données sur un réseau lorsque l’ordinateur fonctionne sur de nombreux systèmes informatiques distribués, tels que par sélectivement de décider, avec les neurones de l’échange d’informations sur les poids, ou de manière sélective le partitionnement du calcul à travers les différents processeurs;
De nouveaux types de réseau de neurones algorithmes et les moyens de la partition, afin de rendre plus efficace l’utilisation de nouveaux types de matériels.
Un “memristor réseau de neurones,” MNN. (Image: Tang et coll.)
Comme un livre, il met, par Charbel Sakr et Naresh Shanbhag de l’Université de l’Illinois à Urbana-Champaign, “Deep neural networks énorme de calcul et les paramètres de la complexité conduit à une consommation d’énergie élevée, du fait de leur formation par le stochastique algorithme de descente de gradient très lent, nécessitant souvent des heures et des jours, et inhibe leur déploiement sur l’énergie et les ressources limitées des plates-formes telles que les appareils mobiles et les agents autonomes.” De nombreuses études offrent des préoccupations similaires.
Aussi: Capital One IA chef voit le chemin à explicable AI
La recherche de solutions pour rendre les réseaux de neurones plus efficace de processus remonte à des décennies. C’était un problème lors de pionniers Rumelhart et McClelland a écrit leur massif traité en Parallèle d’un Traitement Distribué en 1986, et quand Facebook de Yann LeCun proposé “Optimal brain damage” en 1990, comme un moyen de réduire le nombre de paramètres à calculer. Travail par Google chercheurs sur le Cerveau Jeff Dean et d’autres aux prises avec le problème à nouveau, comme l’apprentissage en profondeur a décollé, en 2012.
La recherche d’amélioration a été constante, mais le problème semble s’aggraver, car le succès de l’apprentissage en profondeur permet de réseaux de plus en plus grand dans les zones où l’apprentissage de la machine a vraiment décollé, comme la reconnaissance d’image et de traitement de la langue naturelle.
Les auteurs des différents rapports de toute prétention à réduire dans une certaine manière, le calcul de l’intensité, y compris combien de temps il faut pour former un réseau neuronal, ou l’utiliser pour en déduire des choses, ou les deux. Ils sont tous accablés par la difficile compromis que les réseaux de neurones toujours du travail en vertu de l’: si vous vidage trop de la complexité d’un réseau de neurones, vous pouvez améliorer ses performances par des heures ou des jours, mais vous pouvez aussi perdre de la précision du réseau. Tous les auteurs prétendent avoir navigué avec succès que redoutable.
Ici, dans aucun ordre particulier, sont les optimisations:
Yoshua Bengio et de l’équipe à Montréal MILA explorer ce qui se passe si ils quantification des parties d’un réseau neuronal pour faciliter le traitement de l’inférence des tâches plus efficace, en particulier pour les appareils mobiles. Ils suggèrent également une nouvelle approche pour le réseau neuronal du matériel qui prend “un peu de watts de puissance pour effectuer les opérations.
Xu Shell Hu et ses collègues de Paris, Université Paris-est proposer de faire le poids du réseau de neurones “symétrique”, dans une manière sélective, ils insistent sur le fait “peut réduire considérablement le nombre de paramètres et la complexité des calculs en sacrifiant peu ou pas de précision, à la fois à l’apprentissage et le test du temps.”
Sakr et Shanbhag à l’université de l’Illinois montrer comment quantifier tous les poids dans un réseau pour la phase de formation, en déterminant le minimum accepté de précision pour chaque partie du réseau, affirmant que ces mesures réduisent sensiblement la “représentation, de calcul, de communication et de coûts de la formation” par rapport aux calculs en virgule flottante.
Xiaorui Wu et ses collègues de l’Université de la Ville de Hong Kong, avec Yongqiang Xiong de Microsoft, d’améliorer la conception typique d’une machine d’apprentissage du système, en réduisant considérablement la bande passante de communication pris entre les nœuds de calcul, le résultat étant qu’il “améliore le temps de formation de façon substantielle au cours de paramètres des systèmes de serveur avec la dernière version du datacenter Gpu et 10G de bande passante.”
Hajar Falahati et ses collègues de l’Iran à l’Université des Sciences et de la Technologie a créé un régime sélective de la séparation de la atomique fonctions de réseaux de neurones, tels que le calcul des non-linéarités ou la mise à jour du réseau de poids. L’équipe a utilisé cette partition approche le plus d’une nouvelle puce, ils ont construit, appelé “Origami”, qui est une combinaison d’un circuit intégré à application spécifique (ASIC) et de multiples couches de empilées les DRAM, ce qui est connu dans le monde de puces comme un “Hybrid Memory Cube.”
Zhiri Tang et ses collègues de la Chine de l’Université de Wuhan et l’Académie Chinoise des Sciences de venir avec une nouvelle manière de réduire le nombre de poids dans un réseau par la modélisation d’eux après un circuit électrique appelé “memristor,” dont le circuit propriétés sont affectées par une histoire de flux de courant, qui s’apparente à un dopage de neurones.
Mohammad Mohammadi Amiri et Deniz Gündüz avec l’Imperial College de Londres distribuer la fonction de formation à de multiples connectés sans fil, les ordinateurs, et puis demandez à chaque ordinateur d’envoyer son calcul de retour sur le bruit de la liaison sans fil, qui entraîne automatiquement la somme des multiples dégradés, la réalisation d’un mondial dégradé lors de la transmission arrive à un serveur central, ce qui économise la bande passante de communication.
Partitionnement des fonctions d’un réseau de neurones pour optimiser le traitement distribué. (Image: Falahati et coll.)
Le global impression donnée par l’ensemble de ces rapports est qu’aujourd’hui, les réseaux de neurones n’ont pas changé depuis une dizaine d’années dans de nombreux aspects fondamentaux; les mêmes problèmes d’échelle qui ont été confrontés par Google et d’autres en arrière, puis continuent de s’appliquer. Et beaucoup de modèles de ces réseaux de neurones, leur “architecture” — est inefficace, dans le sens d’avoir beaucoup d’informations redondantes.
Une autre conclusion laissée en attente est de savoir si tout ce travail conduit à de meilleurs réseaux de neurones. La notion de “représentant” le monde dans un réseau de neurones a toujours reposé sur l’idée d’une certaine façon, “contraignant” que le réseau de neurones pour le forcer à trouver des niveaux d’abstraction.
Doit lire
‘IA est très, très stupide”, explique Google IA chef CNETBaidu crée Kunlun de silicium pour l’IAUnifiée Google IA division d’un signal clair de IA future de TechRepublic
Les limites des réseaux de neurones sont expliqué dans un autre article de cette semaine, parrainé par la Défense de l’Avance des Projets de Recherche de l’Agence. Pierre Baldi et Romain Vershynin, professeurs à l’université de californie à Irvine. Dans leur article, “La Capacité d’Anticipation des réseaux de neurones,” ils efforçons de décrire combien d’informations sur le monde un réseau de neurones peut réaliser. Comme ils disent, “La capacité d’un réseau peut être considéré comme un upperbound sur le nombre total de bits qui peuvent être stockées dans un réseau, ou le nombre de bits qui peuvent être “communiqués” du monde extérieur au réseau par le processus d’apprentissage.”
Bien que ces recherches sont traitant de la façon de gérer la complexité dans un sens pratique, il est concevable, les choses qu’ils trouvent peut éventuellement avoir une incidence sur le problème théorique Baldi et Vershynin envisagent: Si ces représentations dans l’apprentissage de la machine peut être mieux c’est, plus sophistiqué, plus proche de certains de haut niveau de compréhension du monde par les ordinateurs.
Précédente et de la couverture liée:
Qu’est-ce que l’IA? Tout ce que vous devez savoir
Un exécutif guide de l’intelligence artificielle, de l’apprentissage machine et général de l’IA pour les réseaux de neurones.
Qu’est-ce que l’apprentissage en profondeur? Tout ce que vous devez savoir
La vérité sur l’apprentissage en profondeur: de comment il s’inscrit dans le champ plus large de l’apprentissage de la machine grâce à la façon d’obtenir commencé.
Qu’est-ce que l’apprentissage de la machine? Tout ce que vous devez savoir
Ce guide explique ce qu’est l’apprentissage de la machine est, comment elle est liée à l’intelligence artificielle, comment il fonctionne et pourquoi c’est important.
Qu’est-ce que le cloud computing? Tout ce que vous devez savoir à propos de
Une introduction à l’informatique en nuage à droite de la base jusqu’à l’IaaS et PaaS, hybride, public et cloud privé.
Rubriques Connexes:
Matériel
Transformation Numérique
CXO
L’Internet des objets
L’Innovation
Des Logiciels D’Entreprise
0