Hvordan AI er ved at ændre fotografering

Hvis du spekulerer over, hvor god din næste telefonens kamera kommer til at være, det vil være klogt at være opmærksom på, hvad producenten har at sige om AI. Ud over den hype og buldre, den teknologi, der har gjort kolossale fremskridt inden for fotografering i løbet af de seneste par år, og der er ingen grund til at tro, at der vil bremse.

Der er stadig en masse gimmicks rundt, for at være sikker. Men det mest imponerende af de seneste fremskridt inden for fotografering har fundet sted på software og silicium niveau snarere end sensoren eller objektivet — og det er i høj grad takket være AI kameraer giver en bedre forståelse af, hvad de kigger på.

Google Fotos givet en klar demonstration af, hvor kraftig en blanding AI og fotografering ville være, når app ‘ en blev lanceret i 2015. Forud for derefter, at søgegiganten havde været ved hjælp af machine learning til at kategorisere billeder i Google+ til år, men lanceringen af sine Fotos app i prisen forbruger-orienterede AI funktioner, der ville have været utænkelig for de fleste. Brugernes uorganiseret biblioteker med tusindvis af ikke-taggede fotos blev omdannet til søgbare databaser natten over.

Pludselig, eller så virkede det som om, Google vidste, hvad din kat så ud.

Google er bygget på den tidligere arbejdet i en 2013 erhvervelse, DNNresearch, ved at oprette en dybt neurale netværk, der er uddannet på data, der var blevet mærket af mennesker. Dette er kaldet overvåget indlæring; processen indebærer uddannelse netværk på millioner af billeder, således at det kan se for visuelle ledetråde på pixel-niveau til at hjælpe med at identificere den kategori. Over tid, den algoritme, der bliver bedre og bedre til at genkende, siger en panda, fordi det indeholder de mønstre, der anvendes til korrekt at identificere pandaer i fortiden. Den lærer, hvor den sorte pels og hvide pels har en tendens til at være i forhold til hinanden, og hvordan det adskiller sig fra huden af en Holstein ko, for eksempel. Med efteruddannelse, bliver det muligt at søge efter mere abstrakte begreber som “dyr” eller “morgenmad”, som måske ikke har fælles visuelle indikatorer, men stadig er umiddelbart indlysende for mennesker.

Det tager en masse tid og regnekraft til at træne en algoritme som denne, men efter datacentre har gjort deres ting, det kan være at køre på lav-drevne mobile enheder uden meget besvær. Den tunge løft arbejde er allerede gjort, så når dine billeder er uploadet til skyen, kan Google bruge sin model til at analysere og mærke hele biblioteket. Omkring et år efter, at Google Billeder blev lanceret, Apple annoncerede et foto søgefunktion, der blev ligeledes uddannet på et neuralt netværk, men som en del af virksomhedens vilje til privatlivets fred den faktiske kategorisering er udført på hver enkelt enhed separat processor uden at sende dataene. Dette tager normalt en dag eller to, og der sker i baggrunden følgende setup.

Intelligent foto management software er en ting, men AI og machine learning er nok at have en større indvirkning på, hvordan billederne er taget i første omgang. Ja, linser fortsætte med at få en lidt hurtigere og sensorer kan altid få en lidt større, men vi er allerede ved at trykke på de begrænsninger, fysik, når det kommer til at proppe optiske systemer til slanke mobile enheder. Ikke desto mindre, er det ikke ualmindeligt i disse dage for telefoner til at tage bedre billeder i nogle situationer, end en masse, der er dedikeret kamera gear, i det mindste før post-processing. Det skyldes, at traditionelle kameraer kan ikke konkurrere på anden kategori af hardware, der er lige så dyb for fotografering: systems-on-chip, der indeholder en CPU, et billede signal processor, og, i stigende grad, en neural processing unit (NPU).

Dette er den hardware gearede i, hvad der er kommet til at være kendt som datamat-fotografering, som er et bredt begreb, der dækker alt fra falske dybde-of-field effekter i telefoner “portræt modus til de algoritmer, der hjælper drive Google Pixel’ s utrolige billedkvalitet. Ikke alle beregningsmæssige fotografering indebærer AI, men AI er helt sikkert en stor del af det.

Apple gør brug af denne teknologi til at skabe sin dual-kamera-telefoner”, portræt. IPhone ‘ s image signal processor bruger machine learning teknikker til at genkende folk med ét kamera, mens det andet kamera skaber en dybde kort til at hjælpe med at isolere motivet og sløre baggrunden. Evnen til at genkende folk gennem machine learning var ikke ny, når denne funktion debuterede i 2016, som det er, hvad foto organisation software var allerede gør. Men at styre den i real time ved den hastighed, der kræves for en smartphone kamera var et gennembrud.

Google er stadig den indlysende førende på dette område, men med de fremragende resultater, som produceres af alle tre generationer af Pixel som den mest overbevisende dokumentation. HDR+, standard optagelse-tilstand, bruger en kompleks algoritme, der fusionerer flere undereksponerede billeder til ét, og som Google ‘ s beregningsmæssige fotografering føre Marc Levoy har noteret sig, at Randen, machine learning betyder, at systemet kun bliver bedre med tiden. Google har trænet sin AI på et stort datasæt af mærkede billeder, som med Google Fotos software, og denne yderligere støtte kameraet med eksponering. Pixel 2, i særdeleshed, produceret sådan et imponerende niveau af baseline billede kvalitet, som nogle af os på Randen har været mere end trygge ved at bruge den faglige arbejde på dette websted.

Google ‘ s Night Sight er en fantastisk reklame for den rolle software i fotografering

Men Google ‘ s fordel har aldrig syntes så skarp, som det gjorde for et par måneder siden med lanceringen af Natten Syn. Den nye Pixel-har sting lange eksponeringer sammen, og benytter en maskine læring algoritme til at beregne en mere præcis hvidbalance og farver, med helt ærligt forbløffende resultater. Funktionen fungerer bedst på Pixel 3, fordi de algoritmer, der er designet med den nyeste hardware i tankerne, men Google har gjort det til rådighed for alle Pixel-telefoner — selv den oprindelige, som ikke er optisk billedstabilisering — og det er en fantastisk reklame for hvordan software er nu mere vigtig end kamera, hardware, når det kommer til mobile fotografering.

Det sagt, der er stadig plads til hardware til at gøre en forskel, især når det er bakket op af AI. Ære ‘s nye Udsigt 20 telefon, sammen med moderselskabet Huawei’ s Nova 4, er de første til at bruge Sony IMX586 billede sensor. Det er en større sensor end de fleste konkurrenter, og på 48 megapixel, repræsenterer den højeste opløsning, der hidtil er set på en telefon. Men det stadig betyder at proppe en masse bittesmå pixels ind i et lille rum, som har tendens til at være problematisk for billedkvalitet. I min Opfattelse 20 tests, men Ære “AI Ultra Klarhed” mode excellerer i at gøre mest muligt ud af den beslutning, descrambling sensoren er usædvanlig farve filter til at låse op for ekstra detalje. Dette resulterer i store billeder, som du kan zoome ind for dage.

Billedet signal-processorer har været vigtigt at telefonens kamera ydeevne for et stykke tid, men det ser sandsynligt, at NPUs vil påtage sig en større rolle som beregningsmæssige fotografering fremskridt. Huawei var den første virksomhed til at annoncere en system-on-chip med dedikeret AI hardware, Kirin 970, selv om Apple ‘ s A11 Bionic endte med at nå forbrugerne. Qualcomm, den største leverandør af Android-processorer i hele verden, har ikke gjort machine learning et vigtigt fokusområde endnu, men Google har udviklet sin egen chip kaldet Pixel Visuelle Kerne til at hjælpe med AI-relaterede imaging opgaver. Den nyeste Apple-A12-Bionic, i mellemtiden, har en otte-kerne-neurale motor, der kan køre opgaver i Core ML, Apple ‘ s machine learning ramme, op til ni gange hurtigere end A11, og for første gang er det i direkte tilknytning til image-processor. Apple siger, at det giver kameraet en bedre forståelse af de centrale plan, for eksempel hjælpe med at generere mere realistisk dybde af feltet.

Kameraet er en afgørende del af enhver telefon, og AI er vores bedste chance for at forbedre det

Denne form for hardware vil blive mere og mere vigtigt for effektivt og højtydende-enhed machine learning, som har et usædvanligt højt til loftet i form af dens krav til processoren. Husk, at den slags algoritmer, der power Google Billeder, der blev uddannet på store, kraftige computere med velnæret Gpu ‘ er og tensor kerner, før de bliver sluppet løs på dit fotobibliotek. Meget af dette arbejde kan gøres “i forvejen,” så at sige, men evnen til at udføre machine learning beregninger på en mobil enhed i realtid fortsat forkant.

Google har vist et imponerende stykke arbejde, der kan reducere behandling byrde, mens neurale motorer bliver hurtigere år for år. Men selv på dette tidlige stadium af beregningsmæssige fotografering, der er reelle fordele ved at være fundet fra telefon-kameraer, der er designet omkring machine learning. I virkeligheden, ud af alle de muligheder og applikationer, der er rejst af AI hype bølge af de sidste par år, er det område med den mest praktiske brug i dag, er velsagtens fotografering. Kameraet er en afgørende del af enhver telefon, og AI er vores bedste chance for at forbedre det.