Apple iscenesatte AI-comebacket vi har håpet på – men her trenger det fortsatt arbeid

0
39

Tim Cook WWDC 2024 AI Jason Hiner/ZDNET

Under WWDC 2024 introduserte Apple Apple Intelligence-plattformen, som bringer generativ kunstig intelligens (AI) og maskinlæring i forkant. Denne plattformen bruker store språk og generative modeller for å håndtere tekst, bilder og handlinger i appen.

Dette initiativet integrerer avanserte AI-funksjoner på tvers av Apple-økosystemet for å transformere enhetsinteraksjon. Men nåværende iPhone- og iPad-brukere må kanskje oppgradere enhetene sine for å dra full nytte av disse fordelene. 

Også: Alt Apple annonserte på WWDC 2024, inkludert iOS 18, Siri, AI og mer

I en tidligere artikkel anbefalte jeg flere viktige trinn for Apple for å holde seg konkurransedyktig i AI-løpet. La oss se hvordan Apples kunngjøringer står i tråd med disse anbefalingene og hvor det er rom for forbedring.

Hva Apple Intelligence vil bringe til selskapets operativsystemplattformer

AI på enheten og i skyen

Apple Intelligence bringer kraftige generative modeller til iPhone, iPad og Mac. Funksjoner på enheten krever en A17 Pro-brikke, og begrenser dem til iPhone 15 Pro- og Pro Max-brukere for forbedret sikkerhet og personvern. Tilsvarende vil bare iPads med M-seriebrikker (som den nyeste iPad Air og iPad Pro) og Mac-er som kjører Apple Silicon være kompatible. Mange brukere med eldre enheter eller ikke-Pro-modeller vil savne disse avanserte funksjonene.

For mer krevende oppgaver introduserte Apple Private Cloud Compute (PCC), et banebrytende skyintelligenssystem designet for privat AI-behandling. PCC utvider den bransjeledende sikkerheten og personvernet til Apple-enheter inn i skyen, og sikrer at personlige brukerdata sendt til PCC ikke er tilgjengelig for andre enn brukeren – ikke engang Apple. Bygget med tilpasset Apple Silicon og et herdet operativsystem designet for personvern, representerer PCC et generasjonssprang innen sky-AI-databehandlingssikkerhet.

Når det gjelder AI-infrastruktur, introduserte Apple også sine grunnmodeller, inkludert en språkmodell på ~3 milliarder parametere på enheten og en større serverbasert modell som kjører på Apple Silicon-servere i selskapets datasentre. Disse modellene er finjustert for spesialiserte oppgaver og optimalisert for hastighet og effektivitet. 

Også: Alle iPhone-modeller som vil få Apples iOS 18 (og som de vant ikke)

Rom for forbedring: Apple kom til kort i lederskap for AI-infrastruktur ved ikke å annonsere AI-akselererte serverenheter på kanten, noe som ville tillate mindre kapable enheter, som iPhone 15 og tidligere iOS 18-støttede modeller, å bruke Apple Intelligences mer avanserte funksjoner. Mens hybrid AI-modellen med on-device og PCC er et skritt i riktig retning, ble ikke AI-akselererte kantnettverksenheter nevnt for å forbedre ytelsen og redusere ventetiden. Apple er vanligvis ikke åpen om distribusjon av ressurser i datasentrene sine, så de kan planlegge å distribuere disse enhetene på kanten uten å avsløre detaljer. Selv om den korte listen over ansvarlige AI-prinsipper som selskapet har dokumentert her er en god start, vil en etisk avsløringserklæring for AI i tråd med hva Adobe gjør, styrke tilliten og åpenheten ytterligere.

< h3>Omfavner tredjeparts AI-leverandører

Apple har dyppet tærne i ChatGPT-integrering, noe som indikerer en vilje til å integrere tredjepartstjenester og samarbeide med flere AI-leverandører. Under keynoten sa Apple at de ville samarbeide om å tillate tredjeparts store språkmodeller (LLM) i tillegg til OpenAI ChatGPT (gratis, Plus og antagelig Enterprise), men nevnte ikke disse modellene. Potensielle modeller inkluderer Microsoft Copilot, Google Gemini, Meta Llama 3, Amazon Titan og Hugging Face, blant mange andre.

Også: Slik installerer du iOS 18-utviklerbeta (og hvilke modeller støtter det)

Rom for forbedring: Selv om Apples intensjon om å være LLM-agnostisk er et positivt tegn for selskapets AI-strategi, hadde jeg håpet på en bredere omfavnelse av tredjepartsplattformer, spesielt helse, finans og utdanning, med AI-integrasjon . Imidlertid må dette skiftet komme med utviklere som omfavner de nye SiriKit, App Intents, Core ML, Create ML og andre APIer. Dypere integrasjon med spesialiserte AI-leverandører kan forbedre Apple Intelligences funksjonalitet og allsidighet betydelig.

Smarte varsler og skriveverktøy

Smarte varsler i Apples operativsystemer vil utnytte LLM-er på enheten for å sile gjennom støyen og sikre at bare de viktigste varslene kommer gjennom. Dette er en del av den nye Reduce Interruptions Focus, som viser brukernes nøkkeldetaljer for hver varsling. Systemomfattende skriveverktøy kan skrive, korrekturlese og oppsummere tekst for brukere, fra korte meldinger til lange blogginnlegg, med Rewrite-funksjonen som gir flere versjoner av tekst basert på den tiltenkte målgruppen.

Også. : Du kan endelig planlegge meldinger på iPhone. Her er hva du bør vite

Rom for forbedring: Med fokus på Reduser avbrudd vil videreutvikling av proaktive assistansefunksjoner som forutser brukerbehov basert på tidligere atferd og kontekst være fordelaktig.

AI-bildegenerering og Genmoji

Apple har åpnet opp en verden av kreative muligheter ved å integrere Image Playground API i alle apper. Brukere kan lage AI-genererte bilder i tre stiler: Sketch, Animation og Realism. Tenk deg å lage og dele disse bildene direkte i Meldinger eller Sider – det er en game-changer. I Notes kan et nytt Image Wand-verktøy generere bilder basert på gjeldende sideinnhold. Genmoji lar brukere lage egendefinerte emojier, og legge til et personlig preg på kommunikasjon.

Rom for forbedring:Å gi mer detaljerte kontroller og tilpasningsalternativer for de genererte bildene og Genmojis, for eksempel finjustering av stiler og attributter, kan imøtekomme mer spesifikke brukerpreferanser. I tillegg kan implementering av funksjoner som foreslår bildeforbedringer eller emoji-opprettelse basert på brukeraktivitet og kontekst strømlinjeforme den kreative prosessen ytterligere.

Forbedret Siri og oppgaveautomatisering

Siri, stemmeassistenten vi har blitt kjent med og tolerert, får endelig en sårt tiltrengt oppgradering. Med avansert naturlig språkbehandling (NLP) kan Siri forstå brukere selv om de stammer og opprettholde konversasjonskonteksten, noe som gjør interaksjoner mer sømløse og intuitive. Du kan nå skrive forespørsler til Siri, en funksjon som garantert vil bli en hit i støyende omgivelser. Siris nye utseende, med en lett vikling rundt skjermkantene når du trykker, gir et moderne preg.

Siris forbedrede kontekstuelle bevissthet lar den håndtere oppgaver som å finne bestemte bilder, spille av podcaster og hente delte filer basert på brukerkommandoer. Assistenten kan hente førerkortinformasjon fra et bilde og legge det inn i et skjema. I Bilder kan AI-en bruke NLP til å søke etter spesifikke bilder eller videoklipp og fjerne distraherende objekter med det nye Clean Up-verktøyet.

Også: Her er hvordan Apple holder skyen- behandlet AI-data trygt

Den nye funksjonen Reduser avbrudd sikrer at bare de viktigste varslene kommer igjennom basert på aktiviteten din. På iPad gjør håndskriftoptimalisering (Smart Script) og matematisk tolkning det lettere å skrive ligninger med Apple Pencil og få dem løst med Kalkulator-appen. I Notes forvandler Image Wand grove skisser til polerte bilder, og du kan ta opp og transkribere lyd med tekstsammendrag generert av Apple Intelligence. Et oppryddingsverktøy fjerner uønskede objekter i Bilder, og Søk i videoer hjelper deg med å finne spesifikke utdrag.

Apple Intelligence utfører også handlinger i apper på vegne av brukeren. Den kan åpne Bilder og vise bilder av spesifikke grupper basert på en forespørsel. I Mail er prioriterte meldinger uthevet med sammendrag for rask innsikt. Notes-brukere kan ta opp, transkribere og oppsummere lyd, og lage oppsummerende transkripsjoner av samtaler med automatiske varsler til deltakerne.

Rom for forbedringer: Selv om Apple har gjort betydelige fremskritt, kan fremtidige oppdateringer forbedre Siris evner ytterligere, automatisere mer komplekse oppgaver og gi dypere personalisering på tvers av Apples økosystem.

AI-funksjoner på tvers av Apple-produkter

Til slutt var det en viktig anbefaling å forbedre AI-funksjonene på tvers av alle Apple-produkter, inkludert Siri, Apple Music, Apple News, Health, Fitness+, TV og HomeKit. Mens Apples AI-funksjoner er integrert på tvers av enheter, var de spesifikke forbedringene for tjenester som Apple Music og HomeKit begrenset, i det minste som beskrevet i WWDC-innlegget.

Også: What er Apple Intelligence? Hvordan iPhones enhetsbaserte og skybaserte AI fungerer

Rom for forbedring:Vi har heller ikke hørt noe om HomePod eller Apple TV med Apple Intelligence, selv om ingen av disse produktene har beregningskraft til å utføre generativ AI på enheten. På samme måte var det ingen omtale av nye AI-funksjoner i WatchOS. Selv om disse enhetene kan være i stand til å bruke noen av skyfunksjonene til Apple Intelligence, ble dette ikke tatt opp i hovedinnlegget. I tillegg, med sin M2-brikke, er Vision Pro kraftig nok til å håndtere Apple Intelligence-funksjoner på enheten. Likevel diskuterte ikke hovedinnlegget hva som skulle komme til den enheten spesifikt.

Utviklerhistorien

På WWDC 2024 dobler Apple ned på å styrke utviklere med verktøyene og API-ene de trenger å låse opp Apple Intelligences fulle potensial gjennom et omfattende utvalg av utviklerøkter, som fremhever Apples forpliktelse til å fremme et levende AI-utviklingsøkosystem.

Disse øktene vil tilby dypdykk i optimalisering og implementering av maskinlæringsmodeller på iOS, iPadOS og MacOS. Målet er å utstyre utviklere med kunnskap for å utnytte Apples avanserte AI-egenskaper.

En av de fremtredende funksjonene er selvfølgelig den forbedrede Siri. Utviklere vil lære hvordan de integrerer appene sine med SiriKit, ved å bruke dens forbedrede NLP for å skape mer sømløse og intuitive brukerinteraksjoner. App-hensikter vil også være et sentralt fokus, slik at utviklere kan bringe appens kjernefunksjoner direkte til brukere gjennom Siri og andre systemtjenester.

Også:  Apple-kodere, gled dere! Programmeringsverktøyene dine har nettopp fått et stort, gratis AI-løft

Med Apple Silicon som leder, vil øktene veilede om optimalisering av maskinlæring og AI-modeller spesielt for disse kraftige brikkene. Dette innholdet inkluderer distribusjon av modeller med Core ML og støtte for sanntids ML-slutning på CPU. Oppdateringer til Create ML vil også bli dekket, med fokus på treningsmodeller mer effektivt.

Et annet stort høydepunkt vil være Apples nye skriveverktøy, som kan korrekturlese, oppsummere og omskrive tekst. Utviklere vil bli vist hvordan de kan inkorporere disse verktøyene i appene sine, og tilby brukere avanserte tekstmanipuleringsfunksjoner.

Det kreative potensialet til Genmoji vil også bli utforsket, med økter om hvordan man genererer tilpassede emojier for å øke brukerengasjement og personalisering. 

Apple flytter grensene for ytelse med økter om akselererende maskinlæringsoppgaver ved å bruke Metal, Apples grafiske rammeverk. Utviklere vil også oppdage nye funksjoner innenfor Swift og Vision-rammeverket, avgjørende for integrering av avanserte bildegjenkjenningsfunksjoner.

Til slutt vil den nye Translation API bli avduket. Det vil hjelpe utviklere med å bygge apper som sømløst oversetter tekst og tale, noe som gjør applikasjoner mer inkluderende og tilgjengelige.

Også: Apple avduker en AI-bildegenerator på enheten for iPhone, iPad, og Mac

Ved å utstyre utviklere med disse ressursene, sikrer Apple at potensialet til Apple Intelligence kan realiseres fullt ut på tvers av økosystemet, driver innovasjon og forbedrer brukeropplevelsene.

Gikk Apple langt nok med AI-forbedringer?

Til tross for de spennende kunngjøringene er det fortsatt noen hull. Apple introduserte nye APIer og forbedringer, og de kommende utviklerøktene vil gi nødvendige verktøy, rammeverk og opplæring. Imidlertid var det en tapt mulighet for bredere tredjepartsintegrasjon, spesielt på nøkkelområder som helse og finans. Etter at utviklere sparker dekkene på Apple Intelligence i høst, kan disse integrasjonene forventes senere, etter iOS 18-utgivelsen. 

Mens forbedringer på tvers av Apple-tjenester som Apple Music, News, Health, Fitness+, og HomeKit ble underforstått, de ble ikke omfattende dekket. Vi forventer at disse detaljene vil dukke opp med senere iOS 18-betaer.

Apples WWDC 2024-kunngjøringer stemmer overens med flere viktige anbefalinger, men kommer til kort når det gjelder bredere tredjepartsintegrasjon, proaktiv assistanse og etisk AI-praksis. De omfattende utviklerøktene som er planlagt for konferansen antyder imidlertid at Apple seriøst ønsker å utstyre utviklere med verktøyene og kunnskapen de trenger for å bruke disse nye AI-egenskapene. 

At takle de gjenværende hullene kan forbedre Apples ;s konkurranseposisjon i AI-kappløpet, og gir et mer robust og brukersentrisk AI-økosystem. Ved å fortsette å innovere og forbedre på disse områdene, kan Apple sette nye standarder og lede fremtiden for AI-drevet teknologi.