Tiernan Ray Bidragande skribent
Tiernan Ray har täckt teknik och affärer i 27 år.
Fullständig beskrivning den 12 januari 2022 | Ämne: Artificiell intelligens
Området för djupinlärning har lidit av vad man kan kalla ett Big Data-fel, tron att mer och mer data alltid är bra.
Det kan vara dags att fokusera på kvalitet snarare än bara kvantitet.
“Det finns ett mycket grundläggande problem som många AI står inför”, säger Andrew Ng, grundare och VD för Landing.AI, en startup som arbetar med att perfekta tekniken för industriell användning, i en intervju med ZDNet detta vecka.
“Mycket AI är fokuserat på att maximera antalet kalorier, vilket fungerar upp till en viss punkt”, sa han.
“Och ibland har du mycket data, men när du har en liten datamängd handlar det snarare om kvaliteten på datan än själva volymen.”
Ng, som drev utveckling av storskaliga AI-system inklusive taligenkänningsteknik när han grundade Google Brain-enheten på Google för ett decennium sedan, har nu mandatet att bygga AI-teknik för att användas av företagskunder i praktiska syften, som t.ex. golvinspektion.
Landing.AI har hittills fått 57 miljoner dollar i finansiering i en omgång i november förra året, från McRock Capital Insight Partners, Taiwania Capital, Canada Pension Plan Investment Board, Intel Capital, Samsung Catalyst Fund, Far Eastern Groups DRIVE Catalyst, Walsin Lihwa , och AI Fund.
Ng är också medgrundare av Coursera, onlineläroplansföretaget, och en adjungerad professor i datavetenskap vid Stanford University.
Big Data-felet har sitt ursprung i det tekniska behov som djupinlärningsformer av AI har för stora urval av en given undersökningsdomän. Metoder för djupinlärning har fokuserat på att få tillräckligt med datapunkter för att undvika vad som kallas “överanpassning”, där allt större neurala nätverk helt enkelt skulle memorera träningsdata.
Om djupinlärning memorerar träningsdata, misslyckas den med att generalisera om arten av dessa data, som vanligtvis är nyckeln till att ett neuralt nätverk är användbart för att göra förutsägelser.
Men en budget på miljoner eller till och med miljarder data är inte genomförbar i vissa sammanhang, till exempel ett tillverkningsinspektionssystem, där en enda defekt av en miljon identiska delar kan vara den enda informationen om tillverkningsbrister.
“Jag har byggt AI-system med hundratals miljoner bilder”, säger Ng, som var grundare av Googles Google Brain-grupp och chefsforskare vid Baidu. “De här teknikerna fungerar inte riktigt när du bara har 50 bilder,” sa han.
Landing.AI
“Jag har byggt AI-system med hundratals miljoner bilder” på Google och som chefsforskare på Baidu. “De här teknikerna fungerar inte riktigt när du bara har 50 bilder,” sa han.
Ng sa att Landing.AI har kunnat utveckla användbara industriella modeller för kunder med en relativt handfull dataprover.
“Istället för Big Data har vi varit tvungna att fokusera på bra data”, sa Ng.
I motsats till det typiska tänkandet om Big Data, använder vi en så liten urvalsstorlek , av dussintals snarare än miljontals exempel, kan fungera.
“Jag har upprepade gånger blivit förvånad över hur bra vi kan få ett neuralt nätverk att göra med bara 50 bilder om du ser till att det har 50 riktigt bra bilder,” sa Ng. “Verktygen vi har förnyat på Landing.ai är att du bara har 50 bilder, så hur märker du det för att få bästa möjliga prestanda av endast 50 bilder.”
“Jag känner att vi har knäckt receptet” för att använda djupinlärning i tillverkning, sa han.
På sätt och vis kan Big Data-felet ses som att svansen viftar med hunden. För att undvika överanpassning handlade all uppmärksamhet i djupinlärning om hur man får djupinlärningsmodellen, programmets struktur, att fungera optimalt.
Nu argumenterar Ng för ett större fokus på vilka datapunkter som är viktigast, och att modellen ska passa det.
“Receptet som folk gillar jag och många av mina vänner har utvecklats för att få AI att fungera i konsumentprogramvaruföretag fungerar inte för tillverkningsföretag och många andra företag, säger Ng.
“Det grundläggande problemet är att om du har hundra miljarder eller miljoner användare kan du bygga ett monolitiskt AI-system; tillverkning är något annat.”
“Han är en guru”, säger Ng från pionjären för datorseende och industriell automation David L. Dechow.
Landing.AI
Behovet är många, många arkitekturer, många olika neurala nät för att passa data.< /p>
“Utmaningen som området för AI står inför är hur vi kan hjälpa tillverkningen att bygga inte en eller ett dussin AI-modeller, utan att hjälpa 10 000 olika tillverkare att bygga 10 000 olika AI-modeller eftersom varje fabrik, varje komponent behöver sin egen modell.”
Utmaningen för en startup är naturligtvis “hur man gör det utan att jag anställer 10 000 ingenjörer.” I Landing.AI:s tidiga dagar – företaget grundades 2017 – sa Ng att han hade varit “naiv”.
“I de första dagarna gjorde vi mycket konsultarbete, försökte göra mycket av anpassningen själva, och det skalade helt enkelt inte.” Ng tror att många nystartade AI-företag stöter på det problemet och blir konsultföretag.
Företaget satsade på att göra verktyg för att få alla dessa kunder att göra anpassningen. Detsamma, sade han, måste vara tillvägagångssättet i branscher som hälso- och sjukvård.
“Det är verkligen utmanande att konstruera data,” konstaterade Ng. “Jag tror att det finns erfarna Ai-ingenjörer som har gjort intuitivt under lång tid, men att bygga verktyg som gör det snabbt och enkelt för många människor att göra det framgångsrikt, det var en mycket djup teknisk utmaning.”
Ng har spridit evangeliet i samtal om den nya tonvikten på kvalitet och om hur man gör data redo för metoder för maskininlärning.
Han kallar sin syn för “datacentrerad AI.”
Mer om Ngs tänkande kan ses i en videointervju redan i mars.
Företaget på Onsdag tillkännagav att de har anställt David L. Dechow, en pionjär inom området datorvisionsteknik, som tidigare var huvudarkitekt för visionsystem för startup Integro Technologies.
Mycket av det maskininlärningsarbete som har gjorts inom industrin i många år har handlat om att sätta kameror på verkstadsgolvet för att observera tillverkningslinjen, noterade Ng. Dechow har varit en pionjär när det gäller att observera in i fabriken, sa han.
“Under många decennier, även innan den senaste boomen i datorseende, har tillverkare placerat kameror i fabriker,” sa Ng. “Kameror är mycket bra på att mäta den exakta längden på en del och upptäcka vissa typer av defekter om du kan koda en regel för att specificera exakt vad du letar efter.”
Med moderna system för djupinlärning, Målet är att göra mycket mer flexibel AI för defektdetektering utan sådana stela regelbaserade tillvägagångssätt.
“I machine vision-världen och industriautomationsvärlden är han en guru,” sa Ng från Dechow. “Generationer av visioningenjörer i dag har utbildats av David.
“Om du kunde ta in en person från maskinseendefältet skulle det vara han”, sa Ng.
Digital Transformation | CXO | Internet of Things | Innovation | Enterprise Software | Smarta städer