Wenn Sie sich Fragen, wie gut Sie Ihre nächste Handy-Kamera ist zu sein, es wäre klug, um die Aufmerksamkeit auf das, was der Hersteller zu sagen hat, zu AI. Über den hype und Getöse, die Technologie ermöglicht atemberaubende Fortschritte in der Fotografie in den letzten paar Jahren, und es gibt keinen Grund zu glauben, dass der Fortschritt verlangsamt wird.
Es gibt noch eine Menge gimmicks um, um sicher zu sein. Aber die meisten beeindruckend jüngsten Entwicklungen in der Fotografie stattgefunden haben, an der software und Silizium-Ebene eher als der sensor oder das Objektiv — und das ist vor allem Dank der KI geben die Kameras ein besseres Verständnis von dem, was Sie suchen.
Google Fotos, sofern ein klarer Beweis dafür, wie mächtig ein mix AI und Fotografie wäre, wenn die app gestartet in 2015. Bevor dann die Suche Riese war mit maschinellen Lernverfahren zur Kategorisierung der Bilder in Google+ für Jahre, aber die Einführung der app “Fotos” enthalten, an den Verbraucher gerichteten AI-features, die unvorstellbar gewesen wäre. Nutzer unorganisiert Bibliotheken von tausenden von ungetaggten Fotos wurden verwandelt sich in durchsuchbare Datenbanken über Nacht.
Plötzlich, so schien es, Google wusste, was Ihre Katze aussah.
Foto von James Bareham / The Verge
Google baute auf den früheren arbeiten von 2013 Erwerb, DNNresearch, durch die Einrichtung eines tiefen neuronalen Netzes ausgebildet, auf Daten, die gewesen gekennzeichnet durch den Menschen. Dies wird als überwachtes lernen; der Prozess beinhaltet die Ausbildung das Netzwerk auf Millionen von Bildern, so dass es Aussehen kann, für optische Hinweise auf pixel-Ebene identifizieren, die der Kategorie. Im Laufe der Zeit, die der Algorithmus wird immer besser und besser zu erkennen, sagen wir, ein panda, denn es enthält das Muster verwendet, um korrekt zu identifizieren, pandas in der Vergangenheit. Es lernt, wo das Fell schwarz und weißes Fell neigen dazu, in relation zu einem anderen, und wie unterscheidet es sich aus dem Fell ein Holstein-Kuh, zum Beispiel. Mit der weiteren Ausbildung wird es möglich, die Suche nach mehr abstrakte Begriffe wie “Tier” oder “Frühstück”, die möglicherweise nicht über gemeinsame visuelle Indikatoren, sind aber immer noch sofort offensichtlich zu den Menschen.
Es nimmt eine Menge Zeit und Rechenleistung Zug einen Algorithmus, wie diese, aber nach dem Daten-Center ist Ihre Sache, es läuft auf low-powered mobile Geräte ohne viel Mühe. Die heavy-lifting-Arbeit ist bereits getan worden, so dass, sobald Sie Ihre Fotos werden in die cloud hochgeladen werden, Google kann mit Ihren Modell zu analysieren und beschriften Sie die ganze Bibliothek. Ungefähr ein Jahr nach dem Google-Fotos wurde ins Leben gerufen, Apple kündigte eine Foto-Suchfunktion, war ebenso trainiert auf einem neuronalen Netzwerk, sondern als Teil der Verpflichtung des Unternehmens zum Schutz der Privatsphäre die eigentliche Kategorisierung erfolgt auf jedem Gerät ist der Prozessor einzeln ohne das senden der Daten. Dies dauert in der Regel ein oder zwei Tage, und geschieht im hintergrund Folgendes setup.
Intelligente Foto-management-software ist eine Sache, aber die KI und maschinelles lernen sind wohl die einen größeren Einfluss darauf, wie die Bilder in den ersten Platz. Ja, die Linsen immer ein wenig schneller und sensoren erhalten immer ein wenig größer, aber wir sind schon drängen an die Grenzen der Physik, wenn es darum geht zu pauken optische Systeme in slim mobile Geräte. Dennoch, es ist nicht ungewöhnlich in diesen Tagen für Smartphones, um bessere Fotos zu machen, die in einigen Situationen als eine Menge von dedizierten Kamera-Ausrüstung, zumindest vor dem post-processing. Das ist, weil die alten Kameras nicht konkurrieren können, auf eine andere Kategorie von hardware, die genauso tiefgründig für Fotografie: die systems-on-chip enthalten, der eine CPU, ein Bild-signal-Prozessor, und, zunehmend, eine neural processing unit (NPU).
Dies ist die hardware genutzt, was zu sein bekannt als computational photography, ein breiter Begriff, der alles abdeckt was aus dem fake-depth-of-field Effekte in Handys’ portrait-Modi, um die algorithmen, die dazu beitragen, das Google Pixel ist die unglaubliche Bildqualität. Nicht alle computational photography beinhaltet AI, aber AI ist sicherlich ein wichtiger Bestandteil.
Apple nutzt diese Technologie, um seine dual-Kamera-Handys’ portrait-Modus. Dem iPhone das Bild-signal-Prozessor nutzt machine learning-Techniken zum erkennen von Personen mit einer Kamera, während die zweite Kamera erzeugt eine tiefen-map zu isolieren, das Thema und den hintergrund unscharf. Die Fähigkeit zu erkennen, die Menschen durch maschinelles lernen war nicht neu, wenn diese Funktion debütierte im Jahr 2016, wie es ist, was Foto-Organisation software schon dabei war. Aber um es zu verwalten und in Echtzeit in der geforderten Geschwindigkeit für eine smartphone-Kamera war ein Durchbruch.
Google bleibt die offensichtliche Marktführer in diesem Bereich, allerdings mit der hervorragenden Ergebnisse produziert alle drei Generationen von Pixel als der überzeugendste Beweis. HDR+, der Standard-Aufnahmemodus, nutzt einen komplexen Algorithmus, der verbindet mehrere unterbelichtete Bilder in einem und, wie die Google-computational photography führen Marc Levoy hat darauf hingewiesen, an Den Rand, maschinelles lernen heißt, das system wird nur besser mit der Zeit. Google trainiert hat, seine KI auf einem riesigen Datensatz beschriftet Fotos, wie mit der Google Fotos-software, und dieses weitere Hilfen, die Kamera mit der Belichtung. Die Pixel 2, insbesondere so hergestellt, eine beeindruckende Ebene der Basis-image-Qualität, die einige von uns an Der Schwelle wurden mehr als komfortabel nutzen es für die professionelle Arbeit auf dieser Website.
Google ‘ s Night Sight ist eine beeindruckende Werbung für die Rolle der software in der Fotografie
Aber Google ist Vorteil hat schien nie so stark, wie es vor ein paar Monaten mit der Einführung von Nacht-Sicht. Die neue Pixel-feature Stiche langen Belichtungen zusammen und nutzt eine machine-learning-Algorithmus, um zu berechnen, genauer Weißabgleich und Farben, der aufrichtig erstaunliche Ergebnisse. Das feature funktioniert am besten auf die Pixel 3, weil die algorithmen wurden entwickelt, mit der neuesten hardware im Kopf, aber Google hat es für alle Pixel-Handys — auch das original, es fehlt eine optische Bildstabilisierung und es ist eine beeindruckende Werbung für, wie die software ist jetzt wichtiger als die Kamera-hardware, wenn es um die mobile Fotografie.
Das heißt, es gibt noch Raum für hardware, einen Unterschied zu machen, vor allem, wenn es ‘ s gesichert durch AI. Ehre, neue Anzeigen, 20 Handy, zusammen mit dem Mutterkonzern Huawei Nova 4, die ersten sind, die Verwendung der Sony IMX586 Bild-sensor. Es ist einen größeren sensor als die meisten Konkurrenten und mit 48 Megapixel, repräsentiert die höchste Auflösung, die bisher auf jedem Handy. Aber das bedeutet immer noch pauken eine Menge von winzigen Pixel, die in einem kleinen Raum, eher problematisch für die Bildqualität. Meiner Ansicht nach 20 tests, aber Ehre ist “AI” Ultra Clarity” – Modus zeichnet sich bei der Herstellung der meisten von der Auflösung, descrambling des Sensors ungewöhnliche Farbe filter zu entsperren extra-detail. Dies führt zu großen Fotos, die Sie zoom-in auf die Tage.
Image-signal-Prozessoren sehr wichtig gewesen Handy-Kamera die Leistung für eine Weile, aber es sieht wahrscheinlich, dass NPUs eine größere Rolle als computational photography Fortschritte. Huawei war der erste Hersteller kündigen ein system-on-chip mit speziellen KI-hardware, die Kirin 970, obwohl Apple A11 Bionic endete, erreichen Sie Verbraucher, ersten. Qualcomm, der größte Anbieter von Android-Prozessoren weltweit, hat sich nicht aus dem maschinellen lernen ein wichtiger Schwerpunkt noch nicht, aber Google hat seine eigenen chip namens der Pixel Visual Core zu helfen, mit AI-related imaging-Aufgaben. Die neueste Apple-A12 Bionic hat unterdessen eine acht-Kern-neural-engine zum ausführen von Aufgaben in Kern-ML -, Apple – machine-learning-framework, mit bis zu neun mal schneller als die A11, und für das erste mal ist es direkt verbunden mit dem Bildprozessor. Apple sagt, das verleiht der Kamera ein besseres Verständnis der Bildebene, zum Beispiel, zu helfen, erzeugen mehr realistische tiefenschärfe.
Die Kamera ist ein wesentliches Merkmal von jedem Handy, und AI ist unsere beste Chance auf Verbesserung
Diese Art von hardware wird es zunehmend wichtig, effizient und performant auf dem Gerät des maschinellen Lernens, die eine außergewöhnlich hohe Decke in Bezug auf seine Anforderungen an den Prozessor. Denken Sie daran, die Art von algorithmen, die macht Google Fotos, die ausgebildet waren, auf große, leistungsfähige Computer, mit Bulligen GPUs und tensor Kerne, bevor Sie gesetzt wird Locker auf Ihre Foto-Bibliothek. Ein Großteil dieser Arbeit getan werden kann “im Voraus”, so zu sprechen, aber die Fähigkeit zur Durchführung von machine-learning-Berechnungen auf einem mobilen Gerät in Echtzeit bleibt Schneide.
Google zeigte einige beeindruckende arbeiten, die Verringerung der Verarbeitungslast, während neuronale Motoren immer schneller durch das Jahr. Aber selbst in diesem frühen Stadium der computational photography, gibt es echte Vorteile gefunden werden, die von Handy-Kameras wurden entworfen, um die Maschine zu lernen. In der Tat, aus all den Möglichkeiten und Anwendungen, die durch das AI-hype-Welle der letzten Jahre, das Gebiet mit den meisten praktischen nutzen, heute ist wohl die Fotografie. Die Kamera ist ein wesentliches Merkmal von jedem Handy, und AI ist unsere beste Chance auf Verbesserung.