Hadoop est en train de devenir un substrat pour l’intelligence artificielle
Getty Images/iStockphoto — MapR
Cette semaine, MapR a annoncé une nouvelle solution de Démarrage Rapide de la Solution (QSS), en se concentrant sur l’apprentissage en profondeur des applications. MapR rabatteurs QSS distribuée apprentissage en profondeur (DL) du produit et de l’offre de services qui permet la formation de complexes profonde algorithmes d’apprentissage à l’échelle.
Voici l’idée: l’apprentissage en profondeur nécessite beaucoup de données, et il est complexe. Si MapR Convergent la Plateforme de Données vos données dorsale, QSS vous donne ce dont vous avez besoin pour utiliser vos données pour DL les applications. Il a un sens, et il est en ligne avec MapR de la stratégie.
MapR est la première Hadoop fournisseur de services avec une offre qui est commercialisé comme ce que nous appellerions l’intelligence artificielle (IA) sur Hadoop. Mais ne les AI sur Hadoop un sens plus large? Et quels sont les autres Hadoop vendeurs en train de faire là?
MapR n’apprentissage en profondeur
Rappelez-vous quand Hadoop est d’abord venu? C’était une plate-forme avec de nombreux avantages, mais à obliger ses utilisateurs à aller le mile supplémentaire pour être en mesure de l’utiliser. Ce qui a changé. Maintenant, Hadoop est l’éclosion d’un écosystème, et une grande partie de son succès est dû à ce que nous appelons SQL-sur-Hadoop.
Hadoop a toujours été en mesure de stocker et de traiter beaucoup de données pour pas cher. Mais il n’était pas jusqu’à ce que le soutien pour l’accès aux données via SQL est devenu assez bon que Hadoop est devenu un concurrent sérieux de l’entreprise les données de la colonne vertébrale. SQL a été, et est toujours, le standard de facto pour l’accès aux données. Afin de soutenir cela signifiait que Hadoop peut être utilisé par presque tout le monde.
L’IA et SQL sont différents. Ce n’est pas une rétro-compatibilité, des produits de base de la fonctionnalité. L’IA est une perspective d’avenir, les tendances de champ. Mais même si aujourd’hui, l’IA est un élément de différenciation pour ceux qui l’ont, on dirait qu’il va bientôt être en quelque sorte un produit de base: ceux qui n’ont pas ne sera pas en mesure de rivaliser.
L’IA et SQL sont également similaires: Si vous êtes un Hadoop vendeur, ce n’est pas vraiment ce que vous faites. C’est quelque chose que les autres n’ — vous avez juste besoin de s’assurer qu’il peut fonctionner sur votre plate-forme, où toutes les données sont. C’est ce que MapR est à réaliser avec QSS trop.
MapR tire parti de l’open source technologie des conteneurs (pensez à Docker), et l’orchestration de la technologie (pensez Kubernetes) à installer des outils d’apprentissage (pensez TensorFlow) dans un mode de distribution. Aucun de cette technologie a à voir avec MapR, mais la valeur QSS apporte est de veiller à ce que tout fonctionne parfaitement.
La répartie de l’apprentissage profond MapR est QSS propose a trois couches. La couche inférieure est la couche de données, la couche du milieu est l’orchestration de la couche et la couche supérieure de la couche application.
Image: MapR
Ted Dunning, MapR chef de la demande de l’architecte, explique: “La meilleure approche pour la poursuite de l’IA/apprentissage en Profondeur est de déployer une solution évolutive de données convergent plate-forme qui prend en charge les derniers profonde des technologies d’apprentissage, avec un sous-jacente des données d’entreprise en tissu avec pratiquement illimitées échelle.”
Il note également que “la quasi-totalité de la machine, le logiciel d’apprentissage est développé indépendamment de Hadoop et d’Étincelles. Cela nécessite une plate-forme comme MapR qui est capable de supporter à la fois Hadoop/Spark charges de travail ainsi que des Api du système de fichiers.”
Et depuis cela fonctionne, pourquoi ne pas aussi utiliser MapR-DB et MapR Ruisseaux et MapR-FS pour nourrir vos données et MapR Persistante Client de l’Application Conteneur (PACC) pour déployer votre modèle? Oh, et nous avons de services pour vous aussi, nous allons vous aider. C’est MapR du message avec QSS.
Anil Gadre, MapR chief product officer, a déclaré: “DL peuvent fournir des possibilités de transformations profondes de l’organisation. Notre expertise…couplé avec [notre] design unique…forment la base de l’ [SQ]. QSS permettra aux entreprises de profiter rapidement de moderne basée sur le GPU, les architectures et les mettre sur le droit chemin pour l’extension de leur DL efforts.”
L’IA sur Hadoop
Donc, est l’IA sur Hadoop une chose? Contrairement à SQL, il n’y a pas de norme pour l’IA. Il n’est pas largement acceptée et comprise définition même. DL n’est qu’une partie de l’apprentissage machine (ML), qui est seulement une partie de l’IA. Et même au sein de DL, alors qu’il peut y avoir certains des concepts partagés, il n’y a pas une telle chose comme une API commune. Donc QSS est DL sur Hadoop, mais pas vraiment de l’IA sur Hadoop.
Il est plus à l’IA que l’apprentissage de la machine, et il est plus à l’apprentissage de la machine que l’apprentissage profond.
Image: Nvidia
La notion d’utilisation de données et de plate-forme informatique, telles que Hadoop en tant que substrat pour l’IA est un fait naturel. Mais d’être capable d’exécuter en ML ou en DL sur Hadoop ne pas vraiment faire une Hadoop fournisseur AI fournisseur de trop. C’est une discussion que nous avons avec beaucoup de Hadoop fournisseur de cadres au cours des derniers mois.
Pour Cloudera chef de la direction de Tom Reilly, “ML est très réel et très active, c’est ici et maintenant, et c’est faire de grandes choses dans la pratique. Nos clients sont à essayer de comprendre de l’AI et de ce qui se trouve dans leur voyage vers le futur. Nous les aidons avec ML, notre plate-forme prend déjà en charge ML et continuer à ajouter le support. Nous pensons à notre plate-forme de l’hôte de données de personnes vont l’utiliser pour l’IA”.
Cloudera a été critiqué pour essayer de se présenter comme une IA société dans son récent de l’IPO de dépôt. Au meilleur de notre connaissance, Cloudera ne pas avoir une vaste expertise interne sur l’IA. Il y a une science des données de l’équipe, composée d’une poignée de personnes, et il y a aussi l’acquisition récente de sens.io.
Sens.io a été intégré dans Cloudera de la pile et redéfini comme Cloudera de la Science des Données Workbench (CDSW). Dans une récente discussion avec Sean Owen, Cloudera de la Science des Données Directeur, Owen contre sens.io IBM DataWorks.
“En fournissant un accès immédiat aux données, CDSW diminue le temps de la valeur de l’IA des applications livrées avec nos automatisé ML plate-forme,” notes Jeremy Achin, DataRobot chef de la direction. C’est super, mais ce n’est pas vraiment de l’IA, est-il?
Pour Scott Gnau, hortonworks a CTO, l’IA est composé de deux éléments clés: les charges de données en plus de l’emballage et des algorithmes pour parcourir les données. Hortonworks a prend en charge à la fois, et que l’IA gagne, hortonworks a gagne. Gnau, cependant, met l’accent sur ce qu’il considère comme hortonworks a’ points forts, à savoir la gouvernance d’entreprise et de la sécurité.
Gnau pense que nous avons encore à voir les nouvelles technologies en AI que nous n’avons pas encore imaginées. Donc, hortonworks a’ l’approche est d’investir dans l’infrastructure et à la confiance pourvoyeur de données, tout en gardant un oeil sur émergent, le tueur de la technologie et des applications, il peut se brancher à partir d’un point de vue application.
Chaque fournisseur doit être considérée dans le contexte de là où ils sont et comment ils voient eux-mêmes en évolution. L’IA est un nouveau champ de bataille que les vendeurs approche en phase avec leur philosophie et leurs objectifs. Nous allons continuer avec une analyse de la façon dont ceux-ci se manifestent dans l’IA dans un prochain post.