Noll
Koka grodor. Det är vad vi alla verkligen är. Vi är kvar i våra potten, samtidigt som temperaturen stiger. Inte dramatiskt, men stadigt. Lite i taget, att inte hoppa vilt så att vi kan vara orolig, men otvetydigt är stigande. Denna välkända metafor som kan användas till flera saker, men här tillfälle är det traditionella slutet av året översyn, nya året förutsägelser extravaganza.
Också: MemSQL 6.7 ger gratis grupp-och prestandaförbättringar: Transaktioner för ingenting, och snabbare frågor för gratis
Vid första, sjunkit djupt som vi är i det ständiga flödet av nya utvecklingen, bara ett par saker kom att tänka på som mest slående om 2018. På en djupare reflektion, men det visar sig 2018 har varit ett bra år, efter att ha lagt grunden för många år framöver. Här är beviset.
Från big data till en flexibel, real-time data
Eller bara data, verkligen. “Big data”, moniker hade sin tid, och dess syfte. Det myntades i en tid när data volym, mängd, hastighet, och sanningen var att explodera. Det hjälpte till att fånga och förmedla betydelsen av dessa egenskaper hos data i stor skala. Det fungerade som en catch-all-modeord för vad som då var en ny typ av lösningar för att lagra och bearbeta data som bröt bort från fäste för relationsdatabaser.
Också: ScyllaDB uppnår Cassandra har paritet, lägger HTAP, moln, och Kubernetes stöd
Nu, NoSQL, Hadoop och oracle databaser och lagring är vanligt förekommande. De avvägningar som man måste göra vid konstruktion och drift av distribuerade data system, snyggt fångat i satser kallas CAP och BAS, är allt väl förstådd bland leden av människor som arbetar med dessa system.
Av nu, det är en tanke: Data från alla typer av källor genereras snabbt, och har att lagras och bearbetas i stor skala, på plats och i molnet, och i allt högre grad, i realtid. Det är viktigt att göra detta för ett antal skäl, och det finns många alternativ. Så, vad är det för mening med hjälp av “big data” längre? Låt oss förklara detta orsaka vann och bara gå vidare.
Data är stor, så mycket är en självklarhet. Det måste nu vara flexibel. (bild: Melpomenem, Getty Images/iStockphoto)
En empirisk regel för data-system är att de behöver 10 år för att nå mognad. NoSQL champions såsom Apache Cassandra och MongoDB är att slå den 10 år gamla varumärket. Hadoop är väl förbi den punkten. Många av de funktioner lösningar ursprungligen saknade, såsom SQL och transaktionella stöd, är nu där. Leverantörer och fusioner har gett upphov till. Protokoll har antagits av etablerade och imitatörer. Samhällen har vuxit.
Som verkligheten av den underliggande tekniken har förändrats, arkitekturer och ekonomi förändras, och baren är i rörelse för alla. Den flexibilitet som krävs för att verka i flera moln och hybrid (på plats och moln) miljöer, och förmåga att arbeta med data i real-tid blir viktiga.
Databasen och Hadoop-leverantörer är att lägga till alternativ för sina lösningar för att fungera smidigt på många miljöer. Moln-leverantörer är också ett steg i denna riktning, lägga till möjligheten att köra på förutsättningen versioner av deras lösningar. Kubernetes lovar att bli de facto operativsystem för data-lösningar i alla miljöer. Och strömmande data ramar lovar att bli de facto-gateways för data.
Machine Learning oktober Fest, AI Galore
En av de mest kontroversiella mantran av big data-eran har varit snabb att lagra allt nu och räkna ut det senare. I en värld där lagring är dyrt, lagring av data måste vara minutiöst utformade i förskott, och förändringar är en smärta, detta är inte vettigt. Det är inte nödvändigtvis den värld vi lever i i dag, men det kan vara avgörande slag för detta synsätt är lärande.
Också: Manyverse och Scuttlebutt: En människa-centrerad teknik stack för sociala applikationer
Det är praktiskt taget omöjligt att missa maskininlärning buzz och framgångar ute. Maskininlärning är i allt högre grad används för att driva allt från detaljhandel och självstyrande bilar till sport och underhållning. En sak som alla dessa machine learning program har gemensamt är att de behöver troves av data för att utbilda de modeller som används för att driva dem. De gamla fakturor, till exempel? De kan komma till hands om du vill träna en redovisningsmodell.
AI är inte allt om lärande och maskininlärning handlar inte bara om att ramar. Men de säkert hjälpa, och det finns massor av val. (Bild: metamorworks, Getty Images/iStockphoto)
Den andra saken du behöver, naturligtvis, är en maskin lärande bibliotek för att hjälpa till att bygga sådana modeller. Detta är varför det finns så många ramar runt dessa dagar, och välja den rätta för dina behov är inte lätt. Tungviktare som Facebook har råd att helt enkelt bygga sina egna. Facebook ‘ s nya PyTorch ram, konsolidera tidigare arbete på Caffe2, släpptes i oktober, men det är långt ifrån den enda.
MLFlow släpptes av skaparna av Apache Gnista med inriktning på distribution, och öppen källkod snabbt.ai kom ut i smyg i hopp om att demokratisera maskininlärning. AWS meddelat uppdateringar till sin SageMaker bibliotek, och Google förbättrade sitt eget erbjudande med AutoML, AI Hub och Kubeflow. Neuton kom från ingenstans och hävdade att bli snabbare, mer kompakt och mindre krävande än något AWSs, Googles och Facebooks av världen har.
Viktigt som de kan vara, dessa ramar är inte vad lärande handlar om. Förutom att ha rätt kompetens och uppgifter att träna modeller, rätt infrastruktur och utbyggnad process måste vara på plats. Lägga till människor i slingan är en strategi som kan användas för att integrera lärande i organisationer. Att välja rätt programmeringsspråk för dina behov är viktiga. Men glöm inte: maskininlärning inte lika AI, och det tar mer än data och kod för att komma dit.
Programvara 2.0, Beräkna 2.0
Effekten av maskininlärning är djup, ändra paradigm i allt inklusive programvaran. Nu är det officiellt: Vi går in i den Programvara 2.0-eran. Även om majoriteten av de program vi använder idag är gamla-trendigt deterministiska, som kan vara på väg att ändras. Programvara är att bli cloud-native -, data-driven, och att vara automatiserad själv.
Dessutom: Ganska låg nivå, ganska big deal: Apache Kafka och Sammanflytande med Öppen Källkod gå mainstream
Programvara som vi vet att det har i grunden varit en uppsättning regler, eller processer, kodade som algoritmer. Naturligtvis över tiden av sin komplexitet har ökat. Api-aktiverad modulär programvara för utveckling och integration, vilket innebär isolerade bitar av programvara skulle kunna kombineras och/eller återvunnet. Detta ökade värdet av programvara, men till priset av ökad komplexitet, som det gjorde spåra beroenden och interaktioner icke triviala.
Men vad händer när vi distribuerar mjukvara baserad på maskinen strategier för lärande är olika. Snarare än att koda en uppsättning av regler, vi tränar modeller på data, och släpper det i naturen. När situationer uppstår som inte är tillräckligt representerade i utbildningen data, resultat, kan vara oförutsägbar. Modellerna kommer att vara re-utbildade och godkända, och software engineering och verksamheten behöver utvecklas för att hantera denna nya verklighet.
Att bygga programvara som används för att vara en deterministisk, om än allt mer komplicerad sak. Men det är byte.
Maskininlärning är också att forma utvecklingen av hårdvara. Under en lång tid, hårdvara har varit mer eller mindre fasta, med Processorer som sin samlingspunkt. Det är inte fallet längre. Machine learning arbetsbelastning förmån specialiserade marker, som vi brukar hänvisa till som AI marker. Vissa är redan kallar detta Beräkna 2.0. Grafikprocessorer är det vanligaste exemplet på en specialiserad chip, men de är inte det enda spelet i stan.
Intel jobbar på att få Fpga: er i form för att bli ett hållbart alternativ för maskininlärning. Google lägger sin tyngd bakom sin skräddarsydda TPU marker. AWS är en uppdatering av dess moln och släppa ett custom chip av sina egna kallas AWS Inferentia. Och det finns en massa av nystartade företag som arbetar på den nya AI: n chips, med den mest uppmärksammade bland dem, GraphCore, bara ha nått unicorn status och släppt sina marker för att välja partner.
Reglering, styrning, licensiering
Vad organisationer gör med sina uppgifter är inte längre något som bara rör sig om ett gäng nördar. Data har makt att lägga sig i valet, bevilja eller neka åtkomst för att finansiera hälso-och sjukvård, göra eller bryta rykte och förmögenheter, göra skillnad för företag och privatpersoner. Det är självklart att någon form av reglering behövs för något som har blivit det centrala för samhället i stort.
Också: Apache Gnista skapare ställer ut för att standardisera distribueras machine learning utbildning, genomförande och distribution
EU är ledande med GDPR, som trädde i kraft år 2018. GDPR är, i praktiken, en global reglering när det gäller någon som är verksamma i EU, eller att ha kontakter med EU: s medborgare. Som den första förordningen i detta område med så långtgående konsekvenser, GDPR har mötts med rädsla, osäkerhet och tvivel. Genom att ge individer att ta kontroll över sina uppgifter, GDPR tvingar organisationer att få sina data governance rätt.
Organisationer behöver för att kunna svara på frågor som var deras uppgifter kommer ifrån, hur den används, och oavsett om användarna är medvetna om och har samtyckt till att deras personuppgifter samlas in och behandlas, och för vilket syfte. För att göra detta, måste de ha rätt processer och metadata på plats. Ursprungsinformation och tillgång till rättigheter och politik är en del av det som vi hänvisar till under samlingsnamnet data governance: att Veta var data kommer ifrån, vad det används för, när, varför och av vem.
Förordning såsom GDPR kan sporra innovation i maskininlärning och artificiell intelligens, för att göra dem meningsfulla. (Bild: PC Mag)
Counter-intuitive som det kan verka, förordning, till exempel GDPR kan sporra innovation. För en, vilket gör att leverantörer svara på marknadens efterfrågan genom att göra data governance en första klassens medborgare, att lägga till funktioner för att stödja det. Dessutom, i machine learning, genom att öka fokus på explainability. Regelverk i stället för områden som finansiell eller hälso-och sjukvård, öppen, förklaras beslut blivit ett måste.
Vi är bara i början för att se effekten av förordningen om uppgifter som rör teknik och affärer. 2019 PSD2, en annan EU-förordning som tvingar finansiella institutioner att öppna sina uppgifter till tredje part, kommer att bli effektiv. Detta kommer att få dominoeffekter på marknaden. Och låt oss inte glömma den ökända EU-Direktivet om Upphovsrätt, som är på väg att genomföra åtgärder som exempelvis ladda upp filter och en länk skatt.
Måste läsa
Toyota och SoftBank samarbetar för att ta “big data” till rörlighet CNET
Topp 10 big data ramar som används i företaget TechRepublic
Sist men inte minst, vi ser den data som plattformar för att ta del av den verklighet som är molnet och cloud tjuvjakt, eller “strip mining”: inkräkta på open source/open core-plattformar med moln-leverantörer. Förutom att anpassa sina erbjudanden för att köra i flera miljöer, såsom managed services, eller iPaaS, data leverantörer reagerar genom att anpassa sina licenser. Sammanflytande och den Tidsplan som har gjort det, vi förvänta oss att se mer av detta.
Åren i Diagrammet
Ringer 2018 år av diagrammet var vår öppnare förra året. Du kan kalla det fördomar, eller förutseende, eftersom vi har en speciell relation med grafdatabaser. Hursomhelst, det visar sig att vi inte var de enda. Grafdatabaser har konsekvent varit den ledande kategori i termer av tillväxt och intresse som fångas av DBEngines index sedan 2014.
Också: Påstridig och öppna maskininlärning: nyanserna av att använda Facebook är PyTorch
Mycket av detta har att göra med AWS och Microsoft släpper grafdatabas produkter, med AWS Neptunus kommer GA i Maj 2018 och gå Azure Kosmos DB i denna livliga marknad som har mer än 30 leverantörer totalt. Självklart, de har alla sina styrkor och svagheter, och alla av dem är lämpliga för alla användningsfall.
Plocka upp från industrin förståsigpåare, Gartner ingår Kunskap Grafer i sin hype cycle i augusti 2018. Om det är meningsfullt för en teknik som är minst 20 år gammal, och vad allt detta betyder är en annan diskussion, men faktum kvarstår: Grafen är här för att stanna. Grafen är verkligen gå mainstream, med analytiker som kollega ZDNet bidragsgivare/Ovum analytiker Tony Baer ge det en shoutout.
Åren i Diagrammet är endast komma igång
Vi ser de tycker om Airbnb, Amazon, eBay, Google, LinkedIn, Microsoft, Uber och Zalando byggnad grafer, och att förbättra sina tjänster och deras bottomline som följd. Vi ser innovation på detta område, med machine learning tillämpas för att berika och komplettera traditionella tekniker på webben skala. Vi ser nya standardisering insatser som pågår, som syftar till att komplettera befintliga standarder under överinseende av W3C.
Vi ser leverantörer upping deras spel och deras finansiering och diagram som har undersökts som en grundläggande metafor på vilken programvara och hårdvara för en ny era kan byggas. Vi kommer att se mer av detta i och med 2019, och vi ska vara här för att hålla koll.
Tidigare och relaterade täckning:
AI chip unicorn som är på väg att revolutionera allt har datoriserad Graf på sin Kärnverksamhet
AI är den mest störande teknik i vår livstid, och AI marker är de mest störande infrastruktur för AI. Genom att mäta effekterna av vad Graphcore är på väg att kraftigt släppa loss i världen som är bortom beskrivning. Här är hur att tänja på gränserna för Moores Lag med IPUs fungerar, och hur det kan jämföras med dagens toppmoderna på hårdvara och mjukvara nivå. Bör åligger Nvidia oro och användare glädjas?
Ökningen av Kubernetes symboliserar övergången från big data till flexibla data
Kan en plattform som utformats för att stödja kör tillfälliga applikationer blir operativsystem valet för att köra data arbetsbelastningar i multi-moln och hybridmoln eran? Ser ut som det, men vi är inte där ännu.
Vill öka kundens engagemang? Investera i integrering av data, metadata, data governance, säger Informatica
Vad gör en Data Hub referensarkitektur har att göra med Kundens Engagemang? En hel del, enligt Informatica, som vill komplettera Adobe, Microsoft och SAP, i deras Öppna Data-Initiativ. Den stora frågan är emellertid huruvida detta har ben.
Realtid bearbetning av data som bara fick fler alternativ: LinkedIn släpper Apache Samza 1.0 streaming ram
Samza är nu på nära paritet med andra Apache öppen källkod streaming ramar som Flink och Gnista. De viktigaste funktionerna i Samza 1.0 är SQL och en högre nivå API anta Apache Balk. Vad betyder det här för den här platsen, och hur väljer du?
Black Friday, Cyber måndag innebär fler bedrägerier, maskininlärning till undsättning?
På Black Friday, Cyber måndag, och andra icke-professionella topp-poäng köp se nya höjder varje år, eller försök till bedrägeri följer efter. Hur kan data och domän kunskap tas tillvara för att safegueard konsumenter och återförsäljare?
Från big data till AI: Där är vi nu, och vad är vägen framåt?
Det tog AI bara ett par år att gå från underström till mainstream. Men trots den snabba utvecklingen på många fronter, AI fortfarande är något som få förstår och färre ändå kan behärska. Här är några tips på hur man kan göra det jobbet åt dig, oavsett var du är i din AI resa.
Relaterade Ämnen:
Big Data Analytics
Innovation
CXO
Artificiell Intelligens
Affärssystem
Förvaring
0