BlackJack3D/Getty ImagesÅpen kildekode store språkmodeller (LLMs) er ikke lett. Bare spør Open Source Initiative (OSI), som har jobbet med en AI-kompatibel definisjon av åpen kildekode i nesten to år. Noen selskaper – Meta, for eksempel – hevder å ha åpen kildekode for sine LLM-er. (Det har de ikke.) Men nå har IBM gått foran og gjort det.
IBM administrerte den åpne kilden for Granite-kode ved å bruke forhåndsopplæringsdata fra offentlig tilgjengelige datasett, som GitHub Code Clean, Starcoder-data, offentlige kodelagre og GitHub-problemer. Kort sagt, IBM har gått langt for å unngå opphavsrettslige eller juridiske problemer. Granite Code Base-modellene er trent på 3- til 4-terabyte-tokens med kodedata og koderelaterte datasett for naturlig språk.
Også: Hvorfor åpen kildekode generative AI-modeller er fortsatt et skritt bak GPT-4
Alle disse modellene er lisensiert under Apache 2.0-lisensen for forskning og kommersiell bruk. Det er det siste ordet – kommersiell – som stoppet de andre store LLM-ene fra å være åpen kildekode. Ingen andre ønsket å dele sine LLM-godbiter.
Men, som IBM Research sjefforsker Ruchir Puri sa, “Vi transformerer det generative AI-landskapet for programvare ved å frigi de høyeste ytelsene, kostnadene -effektive kode LLM-er, som gir det åpne fellesskapet mulighet til å innovere uten begrensninger."
Uten restriksjoner, kanskje, men ikke uten spesifikke applikasjoner i tankene.
Granite-modellene, som IBMs økosystemsjef Kate Woolley sa i fjor, handler ikke om å prøve å være alt for alle. Dette handler ikke om å skrive dikt om hunden din. Dette handler om kuraterte modeller som kan justeres og som er svært målrettede for de forretningsbrukssakene vi ønsker at virksomheten skal bruke. Spesielt er de for programmering."
Disse modellene kun for dekoder, trent på kode fra 116 programmeringsspråk, varierer fra 3 til 34 milliarder parametere. De støtter mange utviklerbruk, fra kompleks applikasjonsmodernisering til minnebegrensede oppgaver på enheten.
IBM har allerede brukt disse LLM-ene internt i IBM Watsonx Code Assistant (WCA)-produkter, for eksempel WCA for Ansible Lightspeed for IT-automatisering og WCA for IBM Z for modernisering av COBOL-applikasjoner. Ikke alle har råd til Watsonx, men nå kan hvem som helst jobbe med Granite LLM-ene ved å bruke IBM og Red Hats InstructLab.
Også: De beste AI-chatbotene: ChatGPT og alternativer< /strong>
Som Red Hat SVP og Chief Product Officer Ashesh Badani sa, vil InstructLab “senke mange av barrierene GenAI står overfor på tvers av hybridskyen, fra begrensede datavitenskapelige ferdigheter til de rene ressursene som kreves.” Poenget er å senke inngangsnivået for utviklere som ønsker å bruke LLM.
Hvor lavt? Som Matt Hicks sa på Red Hat Summit, “Kapabiliteter som for bare et år siden ble koblet til avansert, ganske eksotisk maskinvare kan nå kjøres på en bærbar datamaskin. Treningsteknikker som en gang gikk i hundrevis av millioner av dollar, blir nå replikert for noen få tusen."
For eksempel, i tillegg til InstructLab, kan du bruke Ollma til å kjøre LLM-er lokalt. Som Bala Priya C forklarer i KDnuggets, “Med Ollama er alt du trenger for å kjøre en LLM — modellvekter og all konfigurasjon — pakket inn i en enkelt modellfil. Think Docker for LLMs." Modellene er tilgjengelige på plattformer som Hugging Face, GitHub, Watsonx.ai og Red Hat Enterprise Linux (RHEL) AI.
IBM forventer at programmerere, i tillegg til å skrive kode med Granite LLM-ene, vil spare tid og energi ved å bruke disse LLM-ene til å lage tester og finne og fikse feil. “Mange av de daglige, men essensielle oppgavene som er en del av en utviklers dag – fra å generere enhetstester til å skrive dokumentasjon eller kjøre sårbarhetstester – kan automatiseres med disse modellene.
Også: AI21 og Databricks viser at åpen kildekode kan slanke AI radikalt
I tillegg til å hjelpe utviklere ser IBM forretningsfordeler i Granite-modeller fordi , i motsetning til mange andre, er lisensieringen deres tydelig, og det samme er hvordan modellene har blitt trent. I tillegg er dataene blitt renset og filtrert for hat, overgrep og banning.
Så hvis bedriften din har nølt med å utforske bruken av AI til å bygge programmer av juridiske årsaker, har IBM nettopp gitt deg åpen kildekode-verktøyene du trenger for å forbedre programvareutviklingsarbeidet ditt. Gi dem en sjanse. Noen av dere vil bygge flotte ting fra disse granittblokkene.