Das KI-Team von Facebook verlagert die gesamte Bereitstellung des Modells für maschinelles Lernen in das PyTorch-Framework und standardisiert das Framework für die Entwicklung, sagte das Unternehmen am Mittwoch während seiner jährlichen F8-Entwicklerveranstaltung, die dieses Jahr virtuell stattfindet.
“Wir sind jetzt an dem Punkt angelangt, an dem wir alle unsere Workloads auf PyTorch standardisieren”, sagte Mike Schroepfer, CTO des KI-Teams, in einer Pressekonferenz.
In einer Art Kampf zwischen Forschern und Entwicklern sei die Entscheidung erst gefallen, als Schroepfer und sein Team auf die Gedanken von Facebook-KI-Forschungsleiter Yann LeCun gekommen seien, so Schroepfer.
“Ich hatte lange Zeit diese umwerfende, langwierige Debatte mit Yann LeCun”, erklärte Schroepfer.
“Vielleicht ist KI so, ich prototypiere es mit einem 3D-Drucker und wenn wir dann wissen, was wir wollen, gießen wir es in Beton, und so haben wir aus Leistungsgründen eine völlig separate Werkzeugkette für die Produktion.” LeCun hingegen hatte darauf bestanden, dass ein Werkzeug sowohl für die Forschung als auch für die Produktion funktionieren kann.
Die Meinungsverschiedenheiten beziehen sich auf die Geschichte von PyTorch, das 2016 von Facebook eingeführt wurde.
PyTorch ist eine Bibliothek von Machine-Learning-Funktionen, die teilweise in der Programmiersprache Python, aber mit viel C++ geschrieben sind. Es wurde aus einem bestehenden Framework, Torch, als Alternative zu Frameworks wie Theano, Caffe und Googles TensorFlow angepasst. Die Software befindet sich derzeit auf einem stabilen Build von 1.8.1.
Auch: Facebook F8 Refresh: Alle wichtigen Ankündigungen
Der primäre Wert von PyTorch war traditionell die Benutzererfahrung, bemerkte Schroepfer, um einfach zu bauen und zu debuggen. Das hat ihm die Loyalität von Forschern wie LeCun gewonnen, die neuronale Netze schnell überarbeiten, testen und erneut überarbeiten wollen. Es war jedoch langsamer als viele Programmiertools, die ausdrücklich auf höchste Leistung ausgelegt waren.
Also habe Facebook trotz seines Wertes für die Forschung eine Mischung aus Frameworks für Forschung und Produktion verwendet, sagte Schroepfer, wobei Caffe 2 innerhalb des Unternehmens am zweithäufigsten verwendet wurde. Eine Vielzahl von “domänenspezifischen Frameworks” seien ebenfalls im Einsatz gewesen, sagte er.
Es habe sich herausgestellt, so Schroepfer, dass PyTorch zwar nicht immer die schnellste Bibliothek sei, aber “Produktionsingenieure die neueste Forschung nutzen wollen”. Immer mehr Probleme würden von den Forschern zunächst gelöst, erklärte er.
Große KI-Modelle für die Spracherkennung oder die Verarbeitung natürlicher Sprache werden “normalerweise auf PyTorch aufgebaut”, bemerkte Schroepfer, nicht nur bei Facebook, sondern auch bei anderen Unternehmen und in der Wissenschaft. “Oft haben sie GitHub-Repositorys in PyTorch.”
Außerdem: Hohe Energie: Facebooks KI-Guru LeCun stellt sich die nächste Grenze der KI vor
Derzeit werden 93 % der KI-Modelle von Facebook mit PyTorch bereitgestellt.
Der Sinn der Standardisierung besteht laut Schroepfer darin, die KI-Entwicklung und -Bereitstellung von Facebook in einer Vielzahl von Anwendungen zu beschleunigen, indem der Großteil des Unternehmensaufwands in einer Bibliothek zusammengefasst wird.
Ingenieure bei Facebook “haben jetzt diese Toolbox hochmoderner Modelle zur Hand, die ich viel schneller in Produktion bringen kann, weil sie auf derselben Toolchain basieren, die ich verwende, um Websites zu erstellen und zu versenden Milliardennutzer”, sagte er.
“Was Sie bei dieser Art der Konsolidierung in einem einzigen Tool gesehen haben, ist nur eine massive Veränderung der Fähigkeit der Menschen, ihre Arbeit zu erledigen und zu arbeiten .”
Fügte Schroepfer hinzu: “Wenn die Industrie Tools wie dieses weiter standardisiert, wird dies unsere Fähigkeit, nicht nur Forschungspapiere zu diesem Thema zu schreiben, sondern diese Tools in die Welt zu setzen, um echten Menschen zu helfen, weiter beschleunigen. ”
Unter der Haube mussten Schroepfer und sein Team Dinge tun, um PyTorch zu helfen.
Sie führen beispielsweise ein Programm namens TorchScript aus, das eine Laufzeitoptimierung ermöglicht. “Lassen Sie mich Code in Python schreiben, wie ich will, aber wenn ich ihn richtig bezeichne, können wir diesen wirklich coolen Optimierer im Hintergrund ausführen, um ihn effizienter zu machen.”
“Wir haben die Lücke hier langsam geschlossen”, sagte er über die Verstärkung von PyTorch.
“Ich bin überrascht über das Ergebnis, dass dieses Tool, das mit Benutzerfreundlichkeit, Experimentierfreudigkeit und Agilität begann, seinen Weg in die Produktion gefunden hat”, sagte Schroepfer.
“Yann hatte recht, ich lag falsch”, sagte er.
Auf die Frage, ob Facebook-KI durch die Standardisierung die Vorteile der Vielfalt verlieren würde, stellte Schroepfer klar, dass die Forschung immer noch mit all den neuen Dingen spielen kann, die sie will.
“Unsere Forschungsteams haben viel Freiheit beim Experimentieren und experimentieren ständig mit neuen Technologien. So entstand PyTorch”, sagte er.
Verwandte Themen:
Entwickler Digitale Transformation CXO Internet of Things Innovation Unternehmenssoftware 