Jason Hiner/ZDNETUnder WWDC 2024 ga Apple en stor med kunstig intelligens til forventningsfulle seere, og etterlater oss gjennomvåt av nye AI-funksjoner under banneret til Apple Intelligence. Men hvordan fungerer alle disse funksjonene?
Hva er Apple Intelligence?
Apple holdt nettopp en av dens mest banebrytende Worldwide Developers Conference (WWDC) keynotes, som kunngjør viktige funksjoner for kunstig intelligens (AI) som kommer til operativsystemene iPhone, iPad og Mac senere i år.
Selv om vi ikke forventet at selskapet skulle avsløre en rekke prangende generative AI-funksjoner som ville slå sokkene av oss, var de nye AI-kunngjøringene fortsatt nok til å overraske tilskuere på WWDC-arrangementet.
Også : Apple avduker en AI-bildegenerator på enheten for iPhone, iPad og Mac
Apple ble forventet å fokusere på å inkorporere AI i appene sine for å forenkle brukerne' daglige oppgaver, kategorisering av slike AI-funksjoner under navnet “Apple Intelligence”. Vi gikk ikke glipp av ordleken.
Apple Intelligence fokuserer på AI-funksjoner med bred appell i stedet for avansert bilde- og videogenerering. For å gjøre dette utviklet selskapet interne AI-modeller og samarbeidet med OpenAI for å drive en chatbot som vil integrere ChatGPT i iOS, iPadOS og MacOS.
Hva gjør Apple Intelligence ?
Noen av de største AI-funksjonene fra Apple Intelligence inkluderer:
Forbedret bilderedigering, som fjerning av objekter, med AI i Photos. Større Siri-kontroll over apper og handlinger, inkludert å spørre Siri om å finne e-post eller redigere bilder. AI-generering av egendefinerte emojier basert på tekstmeldinger. Genererer raskt sammendrag av notater, tekstmeldingstråder, e-poster og andre tekster. Automatisk forslag til svar for e-poster og meldinger. En forbedret Mail-app som kan kategorisere e-poster og generere meldinger. Automatisk transkripsjon av talememoer.AI-forbedringer for Xcode til automatisk -fullstendig kode.
Bortsett fra disse AI-funksjonene, vil iOS 18 inkludere nye tilpassbare ikoner og grensesnittoppdateringer for kontrollsenter, innstillinger og meldinger. Apple lanserer også en ny Passwords-app for å erstatte iCloud-nøkkelringen og gi brukerne et mer brukervennlig alternativ, som ligner på 1Password og LastPass.
Også: Glem LastPass: Apple avduker 'Passord' manager-appen på WWDC 2024
Får Siri en Apple Intelligence-makeover?
Siri får en oppgradering, innvendig og utvendig. Den virtuelle assistenten har et nytt utseende og en ny liste over funksjoner for brukere. Siri-logoen har blitt redesignet, og i stedet for å se Siri-boblen når brukere snakker til den, vil et nytt glødende, fargerikt lys som vikler seg rundt enhetens kanter lyse opp skjermen.
Ser til side, vil Siri nå forstå og reagere mer naturlig, slik at interaksjoner føles mer menneskelignende. AI-assistenten vil også kunne opprettholde kontekst fra en forespørsel til den neste for å svare nøyaktig på oppfølgingsspørsmål.
Også: Hver iPhone-modell som vil få Apples iOS 18 (og hvilke som ikke vant)
Med kontekst på hva som er på din iPhone, iPad eller Mac og skjermbevissthet, kan Siri også trekke slutninger fra ting du har fått i e-posten din, bilder i biblioteket eller meldinger. Apple delte et eksempel på at Siri er i stand til å legge til en adresse på et kontaktkort etter at en venn delte det i en tekstmelding.
Stemmeassistenten vil også kunne utføre hundrevis av nye handlinger på tvers av Apple- og tredjepartsapper, som å åpne artikler fra en leseliste eller slå opp et spesifikt bilde i biblioteket ditt.
Apple oppgraderer også Siri for å forstå tekst, slik at brukere kan skrive eller snakke med Siri etter behov.
Hva er nytt i Apples bilderedigering & søke?
I likhet med Google Pixels Magic Eraser, gir Apple enhetene sine en ny, AI-drevet bilderedigeringsfunksjon kalt Clean Up. Dette verktøyet identifiserer distraherende objekter i bakgrunnen, fjerner dem og regenererer bakgrunnen. Dette er perfekt for å fjerne fotobombere og andre gjenstander.
Også: 'Ryd opp' er iPhones nye AI-redigeringsverktøy for å utslette fotobomber
Apple legger til foto- og videosøk på naturlig språk til sin Bilder-app. Dette lar brukere skrive inn en melding om å søke etter et bilde, en video eller til og med et segment av en video. Brukere kan si: “Finn et bilde av den sjøstjernen vi fant på stranden i fjor sommer”," og få iPhone til å trekke opp et bilde uten å måtte bla gjennom tusenvis av bilder for å finne det.
I Bilder vil brukere også kunne gi en tekstmelding om å lage minnevideoer. Dette vil være samlinger av videoer og bilder etter en beskrivelse, med forslag til musikk fra Apple Music.
Hvordan fungerer systemomfattende AI-tekstgenerering?
Apple tilbyr nye systemdekkende skriveverktøy for iPhone, iPad og Mac som vil hjelpe brukere med å omskrive, korrekturlese og oppsummere tekst ved hjelp av AI. Du kan raskt generere et svar eller oppsummere en lang e-post for å se hva det handler om.
Den samme funksjonen kan hjelpe brukere med å gjøre store endringer i tekst, for eksempel å endre tonen for å gjøre den til den mer empatisk eller korrekturlesing for å fange feil.
Også: Du kan endelig planlegge meldinger på iPhone. Her er hva du skal vite
Apple-enheter vil også få AI-oppgraderinger for opptak og transkripsjoner i talememoer og telefon, ettersom brukere raskt kan transkribere talenotater med AI.
Hva er Image Playground?
Apple vil la brukere generere bilder ved hjelp av AI i Messages, Photos Notes, Keynote, Freeform, Pages og tredjepartsapper med Image Playground. Bildene kan genereres med animasjons-, illustrasjon- og skissestiler.
Også: Apple avduker en AI-bildegenerator på enheten for iPhone, iPad og Mac
I Notes-appen, for eksempel, vil et nytt verktøy kalt Image Wand la deg sirkle en grov skisse og bruke AI på enheten for å få Image Playground til å hente ideer fra områdene rundt for å generere et bilde.& #xA0;
Image Playground vil være tilgjengelig i beta denne høsten, og noen funksjoner vil bli utgitt i løpet av neste år.
Kommer ChatGPT til iPhone, iPad og Mac?
Mens Apple var opptatt med å dyppe oss i AI-oppdateringer, bekreftet det også ryktene om et nytt partnerskap med OpenAI, selskapet bak ChatGPT. Dette partnerskapet gir ChatGPT-integrasjoner med Siri og de systemomfattende skriveverktøyene.
Når brukere sender en Siri-forespørsel som stemmeassistenten bestemmer ville bli bedre håndtert av ChatGPT, spør den virtuelle assistenten dem om det' det er greit å dele forespørselen deres med AI-chatboten. Deretter viser den ChatGPT-svaret i samme vindu.
Også: Apple ga oss endelig iPad-appen vi har ventet i 14 år på på WWDC 2024< /p>
Apple sier at ChatGPT-integrasjonen har personvernbeskyttelse på plass, med skjulte IP-adresser og ingen forespørselslagring fra OpenAI. ChatGPT på iPhone, iPad og Mac vil være gratis å bruke, forutsatt at enheten er kompatibel med det nyeste operativsystemet. Betalende ChatGPT-brukere vil få tilgang til flere Plus-funksjoner.
Vil Apple Intelligence bli behandlet på enheten eller i skyen?
I flere måneder ble det ryktet om at Apple jobbet med forskjellige måter å holde AI-en kjørende strengt på enheten for sikkerhet og personvern. Imidlertid forventes Apple Intelligence å stole på skyen for i det minste noen oppgaver, selv om selskapet prioriterer behandling på enheten for forbedret personvern. Hvorvidt en spesifikk oppgave skal behandles på enheten eller i skyen vil avhenge av oppgavens kompleksitet, ressurstilgjengelighet, hensyn til personvern og ventetid.
I hovedsak, hvis en oppgave er enkel nok til å behandles lokalt, utnytter enhetens prosessorkraft og batterilevetid, og krever umiddelbare resultater, er det mer sannsynlig at den blir håndtert på enheten. Oppgaver som involverer sensitive data kan også prioritere behandling på enheten, ettersom Apple prioriterer datavern.
Dessuten: Her er alle iPhone-modeller som vil støtte Apples nye AI-funksjoner (foreløpig)
I sin tur krever skybasert AI-behandling at data sendes fra enheten til eksterne servere som kan håndtere komplekse eller beregningstunge oppgaver. I Apples tilfelle kan oppgaver som krever behandling av store mengder data eller oppdaterte modeller inkludere intrikate analyser og avanserte generative AI-forespørsler.
Apple utnytter det de kaller Private Cloud Compute for komplekse oppgaver som krever skyservere. Disse prosessene bygger på større serverbaserte modeller samtidig som de beskytter brukernes personvern. Serverne er bygget på Apple Silicon, og dataene lagres aldri i skyen.
Avhengig av kompleksiteten og systemkravene vil en algoritme avgjøre om en oppgave som krever AI skal behandles på enheten eller avlastes. til skyen. Enklere oppgaver som en Siri-forespørsel og andre grunnleggende NLP-oppgaver kan behandles på enheten. Mer komplekse oppgaver, som å generere et detaljert sammendrag av et stort dokument, vil bli sendt til skyen, hvor mer robust behandling kan skje.
Er Apple Intelligence faktisk privat og sikker?
"Apple Intelligence har banebrytende personvernbeskyttelse," sa Craig Federighi, Apples senior visepresident for Software Engineering, under WWDC 2024 keynote. Apple la sterkt vekt på forbrukernes personvern da de annonserte Apple Intelligence, og Federighi sa at “arkitekturen er bygget med personvern i kjernen.”
Selskapet streber etter å holde AI-funksjonene sikre gjennom flere mekanismer. inkludert:
Behandling på enheten: Lokale beregningsprosesser sikrer at sensitiv og privat informasjon forblir under brukerens kontroll. Oppgavene behandles direkte på enheten, noe som krever sterk regnekraft. Det er derfor Apple krever at AI-funksjonene deres kjører på A17 Pro, M1 og nyere prosessorer."Privat cloud compute," eller sikker skybehandling: Apple bruker sikre, dedikerte Apple silisiumservere for å håndtere komplekse oppgaver som ikke kan behandles på enheten. Den bruker også kryptografisk verifisering, slik at bare servere hvis programvare har blitt offentlig logget for inspeksjon, kan kommunisere med Apple-enheter.Begrenset datadeling og ingen oppbevaring: Apple sikrer forbrukere at når data må sendes til skyservere, sendes kun den nødvendige informasjonen, noe som reduserer eksponeringen. Den sier også at disse dataene ikke beholdes, noe som beskytter forbrukernes personvern ytterligere.Uavhengig kodegjennomgang: Med Private Cloud Compute forklarte Apple at koden er tilgjengelig for uavhengige eksperter for å inspisere og bekrefte at den oppfyller personvernstandarder.& #xA0;Datakryptering: Apple krypterer alle data som sendes til og fra deres servere som enda et sikkerhetslag. Mulighet til å velge bort: Kanskje viktigst av alt, kan brukere velge Apple Intelligence-funksjoner, som vil bli introdusert som betaversjoner som Apple jobber for å forbedre AI-egenskapene sine over tid.
Hva er de tekniske kravene for Apple Intelligence?
Apples nye AI-funksjoner vil være kompatible med de nyeste Apple-enhetene, inkludert iPhone 15 Pro eller nyere modeller, som kjører på en A17 Pro-brikke, og iPader og Mac-er med en M1-brikke eller nyere.
Selv om disse AI-funksjonene kan bidra til å øke salget av nye iPhones og Mac-er, håper jeg som en nåværende iPhone 14 Pro Max-eier at i det minste noen vil sive ned til eldre iPhone-modeller.