AppleAvdukingen av Apples overordnede strategi for AI på Mac, iPhone og iPad på mandag inneholdt en rekke spennende funksjoner under rubrikken “Apple Intelligence”, en smart re-branding av det allestedsnærværende akronymet.
ZDNETs Sabrina Ortiz har detaljene, som inkluderer mange måter Apple-programvare kan forbedre enhetsopplevelsene på, og også benytte seg av OpenAIs ChatGPT. Det var også et stort spill for sikkerhet og personvern i Private Cloud Compute.
En iøynefallende utelatelse er imidlertid mangelen på det som kalles “on-device”; trening.
Også: Liveoppdateringer: Alt Apple annonserte på WWDC 2024, inkludert iOS 18, Siri, AI og mer
AI-modeller – grupperinger av nevrale nettverk som GPT-4o og Gemini – er utviklet under en innledende fase i laboratoriet kjent som trening. Det nevrale nettet er gitt en rekke eksempler på suksess, og resultatene justeres til de gir optimale svar. Denne treningen blir grunnlaget for det nevrale nettverkets svar på spørsmål, kjent som inferens.
Selv om Apple ikke avslørte noen tekniske detaljer om hvilken Gen AI de bruker, antyder beskrivelsene at funksjonene ombord – funksjonene på iPhone, iPad og Mac – ikke inkluderer opplæring av nevrale nettverk, selv om det er et område hvor Apple har tilbudt original forskning.
I stedet ser det som tilbys ut til å bare være en form for “gjenfinning-augmented generation”," eller, RAG, en økende bevegelse til ytelsesslutning — å lage spådommer — ved å trykke inn i en database. Apple refererer til tilnærmingen som “Semantic Index”," som vet om brukerens personlige data.
Det er ingen liten ting: å utvide Gen AI med innebygd, personlig data er i seg selv ganske en prestasjon for slutninger “på kanten” ; heller enn i skyen.
Også: Apple iscenesatte AI-comebacket vi har håpet på – men her trenger det fortsatt arbeid
Men det er ikke det samme som trening om bord. Apples mest interessante forskningsarbeid til dags dato (i hvert fall det som er offentliggjort) er å gjennomføre litt opplæring på selve klientenheten.
Hva kan du gjøre hvis du trener nevralen nett på en persons konstant oppdaterte enhetsdata?
Et enkelt eksempel er å øke bildekategoriseringen ved å gi det nevrale nettet mer kontekst om hva som er i bildet. Dette er ikke “en katt” på bildet du ser på, men katten din, i likhet med de mange andre du har tatt, presentert for deg som et øyeblikkelig album av katten din, på samme måte som Apple gjør i dag når den gjenkjenner ansikter i portretter.
< p>Når du går gjennom et kunstgalleri, hvis du knipser et bilde av et maleri, kan telefonen din huske forbindelser mellom den kunstneren og noe du har knipset på et museum forrige måned.
Også: Apple Vanlige spørsmål om intelligens: Hver ny funksjon, hvilke modeller som støtter den, og bekymringer om personvern
Apple gjør kanskje litt omopplæring av nevrale nett i skyen, via Private Cloud Compute, gitt at det krever mye datakraft – mer enn de fleste klientenheter har – for å trene nevrale nett
Mens ZDNET bemerket tidligere i år at 2024 kan bli året AI lærer “i håndflaten din”," Mandagens begivenhet antyder at det kan ta et par iPhone-generasjoner til før trening på enheten er mulig.
Det var en annen iøynefallende utelatelse: Apples kunngjøringer handlet hovedsakelig om data som allerede var på enheten, ikke med å utnytte enhetens sensorer, spesielt kameraene, for å forbedre verden rundt deg.
Apple kan for eksempel bruke Gen AI på hvordan kameraet brukes som en AI-ledsager, for eksempel å la assistenten hjelpe brukeren med å velge de beste bildene når de tar en multieksponering “live”; bilde. Enda bedre, "Fortell meg hva som er galt med denne komposisjonen" er den typen fotografering-for-dummie-råd noen kanskje vil ha i sanntid – før de trykker på utløserknappen.
Også: 2024 kan være året AI lærer i håndflaten din
Apple viste i stedet frem noen beskjedne AI-forbedringer for etterproduksjon, for eksempel å fikse et allerede tatt bilde senere fjerning av bakgrunnsobjekter. Det er ikke det samme som en direktekameraagent som hjelper deg mens du bruker kameraet.
Det virker sannsynlig at Apple vil komme til både opplæring på enheten og å bruke Gen AI på sensorene på et tidspunkt . Begge tilnærmingene spiller på Apples integrerte kontroll over maskinvare og programvare.