Tiernan Rays bidragende skribent
Tiernan Ray har dækket teknologi og forretning i 27 år.
Fuld bio den 12. januar 2022 | Emne: Kunstig intelligens
Området for deep learning har lidt under, hvad man kan kalde en Big Data fejlslutning, troen på, at mere og mere data altid er en god ting.
Det kan være tid til at fokusere på kvalitet frem for kun kvantitet.
“Der er et meget grundlæggende problem, som mange AI står over for,” sagde Andrew Ng, grundlægger og administrerende direktør for Landing AI, en startup, der arbejder på at perfektionere teknologien til industriel brug, i et interview med ZDNet i denne uge. .
“Meget kunstig intelligens er fokuseret på at maksimere antallet af kalorier, hvilket virker op til et vist punkt,” sagde han.
“Og nogle gange har du en masse data, men når du har et lille datasæt, er det mere kvaliteten af dataene end den store mængde.”
Ng, som drev udvikling af store AI-systemer, herunder talegenkendelsesteknologier, da han var grundlægger af Google Brain-enheden hos Google for et årti siden, har nu mandat til at bygge AI-teknologi, der skal bruges af virksomhedskunder til praktiske formål, såsom fabriks- gulveftersyn.
Landing AI har modtaget $57 millioner i finansiering til dato i en runde i november sidste år, fra McRock Capital Insight Partners, Taiwania Capital, Canada Pension Plan Investment Board, Intel Capital, Samsung Catalyst Fund, Far Eastern Groups DRIVE Catalyst, Walsin Lihwa, og AI Fund.
Ng er også medstifter af Coursera, online pensumvirksomheden, og en adjungeret professor i datalogi ved Stanford University.
Big Data-fejlslutningen har sin oprindelse i det tekniske behov, som deep learning former for AI har for store stikprøver af et givet undersøgelsesdomæne. Deep learning-tilgange har fokuseret på at få nok datapunkter til at undgå det, der kaldes “over-fitting”, hvor stadigt større neurale netværk simpelthen ville huske træningsdata.
Hvis dyb læring husker træningsdata, formår det ikke at generalisere om arten af disse data, som almindeligvis er nøglen til, at et neuralt netværk er nyttigt til at lave forudsigelser.
Men et budget på millioner eller endda milliarder af data er ikke gennemførligt i nogle sammenhænge, såsom et produktionsinspektionssystem, hvor en enkelt defekt ud af en million identiske dele kan være det eneste stykke data om produktionsfejl.
“Jeg har bygget AI-systemer med hundredvis af millioner billeder,” siger Ng, der var grundlægger af Googles Google Brain-gruppe og chefforsker ved Baidu. “De teknikker virker ikke rigtig, når du kun har 50 billeder,” sagde han.
Landing.AI
“Jeg har bygget AI-systemer med hundredvis af millioner billeder” hos Google og som chefforsker hos Baidu. “De teknikker virker ikke rigtig, når du kun har 50 billeder,” sagde han.
Ng sagde, at Landing AI har været i stand til at udvikle nyttige industrielle modeller til kunder med en relativ håndfuld dataeksempler.
“I stedet for Big Data, har vi været nødt til at fokusere på gode data,” sagde Ng.
I modsætning til den typiske tankegang om Big Data, ved at bruge så lille en stikprøvestørrelse , af snesevis snarere end millioner af eksempler, kan være brugbare.
“Jeg er gentagne gange blevet overrasket over, hvor godt vi kan få et neuralt netværk til at gøre med kun 50 billeder, hvis du sørger for, at det har 50 rigtig gode billeder,” sagde Ng. “De værktøjer, vi har fornyet på Landing AI, er, at du kun har 50 billeder, så hvordan mærker du det for at få den bedst mulige ydeevne ud af kun 50 billeder.”
“Jeg føler, at vi har knækket opskriften på at bruge deep learning i fremstilling, sagde han.
På en måde kunne Big Data-fejlslutningen opfattes som halen, der logrer med hunden. For at undgå overtilpasning handlede al opmærksomhed i deep learning om, hvordan man kunne få deep learning-modellen, programmets struktur, til at fungere optimalt.
Nu argumenterer Ng for et større fokus på, hvilke datapunkter der er vigtigst, og få modellen til at passe til det.
“Opskriften på, at folk kan lide mig og mange af mine venner har udviklet sig til at få AI til at fungere i forbrugersoftwarevirksomheder, fungerer ikke for produktionsvirksomheder og mange andre virksomheder,” sagde Ng.
“Det grundlæggende problem er, at hvis du har hundrede milliarder eller millioner brugere, kan du bygge et monolitisk AI-system; fremstilling er noget andet.”
“Han er en guru,” siger Ng fra pioneren inden for computervision og industriel automatisering, David L. Dechow.
Landing.AI
Behovet er mange, mange arkitekturer, mange forskellige neurale net, der passer til dataene.
“Udfordringen, som AI-området står over for, er, hvordan kan vi hjælpe produktionen med at bygge ikke en eller et dusin AI-modeller, men at hjælpe 10.000 forskellige producenter med at bygge 10.000 forskellige AI-modeller, fordi hver fabrik, hver komponent har brug for sin egen model.”
Udfordringen for en startup er selvfølgelig “hvordan man gør det uden at jeg ansætter 10.000 ingeniører.” I Landing AI's tidlige dage – virksomheden blev grundlagt i 2017 – sagde Ng, at han havde været “naiv.”
“I de tidlige dage lavede vi en masse konsulentarbejde og prøvede at lave en stor del af tilpasningen selv, og det blev bare ikke skaleret.” Ng mener, at mange AI-startups løber ind i det problem og bliver til konsulentfirmaer.
Virksomheden fokuserede på at lave værktøjer til at få alle disse kunder til at foretage tilpasningen. Det samme, sagde han, skal være tilgangen i industrier som sundhedspleje.
“Det er virkelig udfordrende at udvikle dataene,” bemærkede Ng. “Jeg tror, der er erfarne Ai-ingeniører, som har gjort det intuitivt i lang tid, men at bygge værktøjer, der gør det hurtigt og nemt for mange mennesker at gøre det med succes, det var en meget dyb teknisk udfordring.”
Ng har spredt evangeliet i samtaler om den nye vægt på kvalitet og om, hvordan man gør data klar til maskinlæringstilgange.
Han kalder sit synspunkt “data-centreret AI.”
Mere om Ngs tankegang kan ses i et videointerview tilbage i marts.
Virksomheden på Onsdag meddelte, at de har ansat David L. Dechow, en pioner inden for computervisionsteknologi, som tidligere var den primære visionsystemarkitekt for opstarten Integro Technologies.
Meget af det maskinlæringsarbejde, der er blevet udført i industrien i mange år, har handlet om at sætte kameraer på værkstedet for at observere produktionslinjen, bemærkede Ng. Dechow har været en pioner i denne flytning af observation til fabrikken, sagde han.
“I mange årtier, selv før det nylige boom i computervision, har producenter sat kameraer på fabrikker,” sagde Ng. “Kameraer er meget gode til at måle den nøjagtige længde af en del og opdage visse typer defekter, hvis du kan kode en regel for at specificere præcis, hvad du leder efter.”
Med moderne deep learning-systemer, målet er at lave meget mere fleksibel AI til defektdetektering uden sådanne stive regelbaserede tilgange.
“I verden med maskinsyn og industriel automatisering er han en guru,” sagde Ng fra Dechow. “Generationer af synsingeniører i dag er blevet trænet af David.
“Hvis du kunne hente én person fra maskinsynsfeltet, ville det være ham,” sagde Ng.
Digital Transformation | CXO | Internet of Things | Innovation | Enterprise Software | Smart Cities