Sabrina Ortiz/ZDNETPå sin årlige Build-utviklerkonferanse på tirsdag, avduket Microsoft flere nye funksjoner for sine Azure AI Services innenfor sin Azure cloud computing-virksomhet, med fokus på generativ kunstig intelligens.
De nye funksjonene spenner fra muliggjør større databasetilgang til automatisk dubbing av videoer til flere språk til rask opplæring av store språkmodeller for å forstå komplekse dokumentstrukturer. De fleste av innovasjonene og forbedringene er allerede i forhåndsvisningsmodus denne uken.
Det starter med Studio
Microsoft har kanskje forbedret sitt integrerte utviklingsmiljø for AI, Azure AI Studio, mest relevant for de fleste utviklere. < /p>
For å knytte sammen alle delene som går med til å lage en skyapplikasjon på Azure, har Microsoft forsterket det som kalles Azure Developer CLI, et sett med malkommandoer som brukes til å distribuere applikasjoner til skyen. En funksjon i forhåndsvisning lar en utvikler "opprette ressurser i kopi-eksempler og legge til rette for store språkmodelloperasjoner (LLM Ops) som en del av løsninger for kontinuerlig integrasjon/kontinuerlig levering (CI/CD) for å akselerere kode-til-sky-arbeidsflyter."
Også: Microsoft Build er denne uken – her er hva du kan forvente, hvordan du kan se, og hvorfor jeg er spent
En annen kommende funksjon i Azure AI Studio er det Microsoft kaller "Models as a Service," hvor et utvalg av store språkmodeller vil kunne påberopes av programmerere som et API uten å måtte administrere GPU-infrastrukturen for modellene, sa Microsoft.
Forstå komplekse dokumenter raskt
Microsoft introduserer også en ny type AI-modell kalt “tilpasset generativ”," en måte å raskt utvikle en språkmodell for å behandle komplekse dokumenter ved å bruke maler for å definere strukturen til et dokument. Tilnærmingen reduserer antallet "etiketter" en utvikler trenger å lage, metadataene som lærer en AI-modell om de ulike feltene i et dokument.
"Modellen vil bruke store språkmodeller (LLM) for å trekke ut feltene, og brukerne trenger kun for å korrigere utdata når modellen ikke får et felt riktig," sa Microsoft.
Også: Alle Copilot+ PC-er som Microsoft nettopp annonserte for å ta på seg Apples M3 MacBooks
Tilpasset generativ kommer i forhåndsvisning "snart," sa Microsoft.
En rekke tilleggsfunksjoner er ment å forenkle de mange delene av å lage en generativ AI-app, fra "prompt flow" til sporing og feilsøking til statistikken for Gen AI en gang satt i produksjon.
Utvidet bruk av RAG
For bedrifter som ønsker å basere store språkmodeller på egne data, både for å spesifisere resultatene av spørringer og også for å unngå hallusinasjoner, har selskapet oppdatert Azure AI Search. Tjenesten er basert på det som kalles gjenvinningsutvidet generasjon, eller “RAG”, en utbredt praksis med å lete etter svarene på en melding i en database i stedet for bare å søke etter de nyeste ledetekstene.
Nye funksjoner for Azure AI Search inkluderer forbedringer av måten tjenesten scorer resultater som er lagret som "vektorer," komprimerte representasjoner av data som er egnet for LLM-er. Endringene "gir kundene flere muligheter og fleksibilitet for å forbedre nøyaktigheten av svarene deres," sa Microsoft.
Tjenesten legger også til muligheten til å gjøre bilder, ikke bare tekst, til vektorer, for å gjøre det enklere for LLM-er å hente bilder for et spørringssvar.
Også: 3 AI-funksjoner kommer til Copilot+ PC-er som jeg skulle ønske var på min MacBook
Det vil også være enklere å koble Azure AI Search-tjenesten til bedriftsdata ved å bruke Fabric, dataanalyseplattformen som ble avduket på Build i fjor, gjennom en kobling som ruter data i OneLake-datasjøen, også avduket i fjor.
Microsoft legger vekt på muligheten til å skalere RAG-funksjonen med store vektorstørrelser og utvidet lagringskapasitet i Azure AI Search.
Funksjonene er tilgjengelige i Azure AI Search i en forhåndsvisningsform nå.
Databaseforbedringer
Mens RAG er nyttig i seg selv, vil de fleste bedrifter trenge å hente data med en kombinasjon av tradisjonelle metoder for databaseinnhenting. I et blogginnlegg skriver Shireesh Thota, som er konserndirektør med ansvar for Azure Databases, i et blogginnlegg at: “Når AI-applikasjoner blir mer mainstream, er sømløs databaseadministrasjon av største betydning. Pålitelige løsninger som kan skaleres ubegrenset og autonomt, reagere raskt og tilby uovertruffen fleksibilitet og pålitelighet vil forme fremtiden for koding."
Også: 6 måter AI kan bidra til å lansere din neste forretningssatsning< /strong>
Av den grunn har Microsoft lagt til sine databasetilbud funksjoner som er avgjørende for distribusjon av store språkmodeller: "vektorsøk" som gjør at den komprimerte representasjonen av innhold kan indekseres og lettere gjenfinnes; og "innbygginger," et middel for å komprimere inndata for en språkmodell på grensesnittet, slik at de kan lagres på en måte som er kjent for databasen.
Azure Cosmos DB for NoSQL utvider Azure Cosmos-databasen til å yte vektorsøk. Microsoft sier at det gjør Cosmos til den første skydatabasen med “vektorsøk med lavere latens i skyskala uten behov for å administrere servere.”
Innebygging av Azure Database for PostgreSQL i databasen oppdaterer Azure-implementeringen av den ærverdige PostgreSQL-databasen slik at den automatisk kan komprimere inndata til representasjoner som LLM forstår.
På rampen til apputvikling < /strong>
Flere nye tilbud er ment å standardisere måten generative AI-apper utvikles på. De inkluderer "mønstre og praksis for private chatbots," en samling referanseimplementeringer som Microsoft sier gjør det mulig for bedrifter å “skape private chatbots som er pålitelige, kostnadseffektive og kompatible.”
Chatbot-malene er tilgjengelige nå.
Ny multimodalitet
Ingen AI-konferanse for utviklere ville vært komplett uten noen nye modeller. Microsoft avduket et tillegg til sin “Phi”; familie av språkmodeller, introdusert for et år siden. Phi er laget for å være liten, det vil si å ha en ikke veldig stor mengde parametere, eller nevrale “vekter”, slik at de kunne brukes på "edge" enheter som en PC. En ny versjon, Phi-3-Vision støtter nå å utføre spørringer på bilder.
"Phi-3-vision har en størrelse på 4,2 milliarder parametere og støtter generelle visuelle resonneringsoppgaver og diagram/graf/tabellresonnement," sa Microsoft.
Tilpasse rekkverkene
Microsoft lanserer verktøy for å tillate organisasjoner å finjustere hva slags rekkverk som er pålagt generativ AI. "Egendefinerte kategorier" lar utvikleren lage filtre etter eget valg for å spesifisere innholdsbegrensninger. "Denne nye funksjonen inkluderer også et raskt alternativ, som lar deg distribuere nye tilpassede filtre innen en time for å beskytte mot nye trusler og hendelser," sa Microsoft.
En annen funksjon, i forhåndsvisningen, "spørreskjermer," er ment å blokkere jailbreak-angrep mot store språkmodeller, som ofte kan oppnås ved å lage en forespørsel på en smart måte.
Begge funksjonene er en del av Microsofts tilbud om Azure AI Content Safety.  ;
Tal talen
Ved å følge veien til modeller som Googles Gemini og OpenAIs GPT-4o, legger Microsoft større vekt på gi stemme til programmer. To funksjoner i forhåndsvisning inkluderer analytiske verktøy for å kartlegge lyd- og videodata for ting som sentimentanalyse, og en videodubbingstjeneste som automatisk kan oversette en video til flere språk.