Nul
Koken kikkers. Dat is wat we allemaal echt. We verblijven in onze pot, terwijl de temperatuur is aan het stijgen. Niet dramatisch, maar gestaag. Beetje bij beetje, niet springen wild opdat wij zouden worden gealarmeerd, maar onmiskenbaar een stijgende lijn. Deze bekende metafoor kan worden toegepast op een aantal dingen, maar hier is de gelegenheid is de traditionele einde van het jaar, het nieuwe jaar voorspellingen extravaganza.
Ook: MemSQL 6.7 brengt gratis tier en de verhoging van de prestaties: Transacties voor niets, en sneller query ‘ s voor gratis
Op het eerste, diep verzonken als we in de constante stroom van nieuwe ontwikkelingen, alleen een paar dingen die in me opkwam als de meest opvallende aan 2018. Bij diepere reflectie, echter, het blijkt 2018 is alweer een jaar, met de voorbereidingen voor de komende jaren. Hier is het bewijs.
Van big data naar flexibele, real-time data
Of gewoon gegevens, echt. De “big data” moniker had zijn tijd, en zijn doel. Het werd bedacht in een tijd toen de data-volume, diversiteit, snelheid en juistheid waren ontploft. Het hielp vastleggen en overbrengen van de betekenis van deze eigenschappen van de gegevens op schaal. Het diende als een catch-all modewoord voor wat toen een nieuwe generatie oplossingen voor de opslag en verwerking van data die zich losmaakte van het bolwerk van relationele databases.
Ook: ScyllaDB bereikt Cassandra functie van pariteit, voegt HTAP, cloud, en Kubernetes ondersteuning
Door nu, NoSQL, Hadoop, en cloud databases en opslag aan de orde zijn. De afwegingen een rol bij het ontwerp en de operationele distributed data systemen, netjes vastgelegd in stellingen genoemd KAP en voet, zijn steeds goed begrepen onder de gelederen van mensen die werken met dergelijke systemen.
Door nu, het is een gegeven: Gegevens uit allerlei bronnen wordt gegenereerd snel, en moet worden opgeslagen en verwerkt in de schaal, zowel on premise als in de cloud, en, steeds meer, in real-time. Het is belangrijk om dit te doen voor een aantal redenen, en er zijn vele opties. Dus, wat is het punt van zelfs het gebruik van “big data” niet meer? Laten we verklaren deze zaak gewonnen en gewoon verder gaan.
Data is groot, dat is een gegeven. Nu moet flexibel zijn. (afbeelding: Melpomenem, Getty Images/iStockphoto)
Een empirische regel voor data systemen is dat ze 10 jaar tot wasdom te komen. NoSQL kampioenen zoals Apache Cassandra en MongoDB zijn het raken van de 10-jarige mark; Hadoop is ook voorbij dat punt. Veel van de functies van dergelijke oplossingen oorspronkelijk ontbrak, zoals SQL en transactionele ondersteuning, zijn er nu. Leveranciers en fusies zijn voortgekomen. Protocollen zijn vastgesteld door gevestigde ondernemingen en navolgers. Gemeenschappen zijn gegroeid.
Als de realiteit van de onderliggende technologie zijn veranderd, de architectuur en de economie aan het veranderen zijn, en de bar is bewegen voor iedereen. De flexibiliteit die nodig is om te werken in multi-cloud en hybride (on premise en cloud-omgevingen, en de mogelijkheid om te werken met gegevens in real-time worden steeds-toets.
Database en Hadoop verkopers zijn extra opties voor hun oplossingen te werken naadloos in vele omgevingen. Cloud-leveranciers zijn ook deze richting op beweegt, het toevoegen van de mogelijkheid om on premise versies van hun oplossingen. Kubernetes belooft om het de facto het besturingssysteem voor data-oplossingen in alle omgevingen. En de streaming data kaders belofte om het de facto het gateways voor de gegevens.
Machine Learning oktober Fest, AI Galore
Een van de meest controversiële mantra ‘ s van het big data tijdperk is de aanwijzing voor het opslaan van alles wat nu en het uitzoeken later. In een wereld waar de opslag is duur, het opslaan van gegevens moet zorgvuldig ontworpen worden vooraf en wijzigingen zijn een pijn, dit heeft geen zin. Dat is niet per se de wereld waarin we leven vandaag de dag, maar wat kan mark de genadeklap voor deze aanpak is de machine learning.
Ook: Manyverse en Scuttlebutt: Een mens-gerichte technologie-stack voor sociale toepassingen
Het is praktisch onmogelijk om te missen zijn de ‘machine learning’ buzz en succes verhalen. Machine learning wordt steeds meer gebruikt om macht alles, van retail en zelf-rijdende auto ‘ s in de sport en entertainment. Één ding is dat deze machine learning toepassingen gemeen hebben is dat ze troves van gegevens en het trainen van de modellen gebruikt om de macht van hen. Die oude facturen, bijvoorbeeld? Ze kunnen van pas komen als je wilt trainen voor een boekhoudkundig model.
De AI is niet alles over machine learning, en machine learning is nog niet alles over de kaders. Maar ze helpen, en er is genoeg keuze. (Afbeelding: metamorworks, Getty Images/iStockphoto)
Het andere ding dat je nodig hebt, is natuurlijk een machine learning bibliotheek te helpen met het bouwen van deze modellen. Dit is de reden waarom er zo veel kaders rond deze dagen, en het kiezen van de juiste is voor uw behoeften is niet eenvoudig. Zwaargewichten zoals Facebook kan veroorloven om gewoon hun eigen op te bouwen. Facebook ‘ s nieuwe PyTorch kader, de consolidatie van eerdere werk op Caffe2, werd uitgebracht in oktober, maar het is verre van de enige.
MLFlow werd uitgebracht door de makers van Apache Vonk met een nadruk op distributie en open source snel.ai kwam van stealth in de hoop te democratiseren machine learning. AWS aangekondigd updates zijn SageMaker bibliotheek en Google verbeterde haar eigen aanbod met AutoML, AI Hub en Kubeflow. Neuton kwam uit het niets beweren sneller, compacter en minder veeleisend dan wat de AWSs, Googles en Facebooks van deze wereld.
Belangrijk ze ook mogen zijn, deze kaders zijn niet wat voor machine het leren is over. Naast het hebben van de juiste kennis en gegevens en het trainen van de modellen, de juiste infrastructuur en implementatie proces moet zijn. Het toevoegen van de mens in de loop van een strategie die kan worden gebruikt voor het integreren van machine learning in organizations. Het kiezen van de juiste programmeertaal voor uw behoeften is cruciaal. Maar vergeet niet: ‘Machine learning’ niet gelijk is aan AI, en het duurt meer dan gegevens en de code om er te komen.
Software 2.0, Berekenen 2.0
Het effect van machine learning is ingrijpend veranderen van het paradigma in alles met inbegrip van de software zelf. Het is officieel: We zijn het invoeren van de Software 2.0-tijdperk. Hoewel het merendeel van de software die we gebruiken vandaag de dag is oud-modieus-deterministisch, die op het punt om te veranderen. Software wordt steeds meer cloud-native, door gegevens gestuurde en geautomatiseerde zelf.
Ook: Vrij laag niveau, pretty big deal: Apache Kafka en Samenvloeiende Open Source gaan mainstream
Software zoals we die kennen is in wezen een set van regels of processen, gecodeerd als algoritmen. Na verloop van tijd de complexiteit is toegenomen. Api ‘ s ingeschakeld modulaire software-ontwikkeling en-integratie, wat betekent geïsoleerde stukken van de software kunnen worden gecombineerd en/of aangepast. Dit verhoogde de waarde van de software, maar ten koste van toenemende complexiteit, omdat het traceren van afhankelijkheden en interacties niet triviaal.
Maar wat gebeurt er wanneer we de implementatie van software op basis van machine learning-aanpak is anders. Plaats van het coderen van een set van regels, we trainen modellen op datasets, en laat het los in het wild. Wanneer zich situaties voordoen die niet voldoende zijn vertegenwoordigd in de opleiding van gegevens, kunnen de resultaten onvoorspelbaar zijn. Modellen worden opnieuw opgeleid en gevalideerd, en software engineering en operations moeten evolueren om te gaan met deze nieuwe realiteit.
Het bouwen van software gebruikt om een deterministisch, zij het geleidelijk meer ingewikkeld ding. Maar dat is aan het veranderen.
Machine learning is ook de vormgeving van de evolutie van de hardware. Voor een lange tijd, hardware architectuur is meer of minder vast, met Cpu ‘ s die hun brandpunt. Dat is niet meer het geval. Machine learning workloads voordeel gespecialiseerde chips, die we gewoonlijk aanduiden als AI chips. Sommige zijn reeds noemt dit Berekenen 2.0. Gpu ‘ s zijn de meest voorkomende voorbeeld van een gespecialiseerde chip, maar ze zijn niet het enige spel in de stad.
Intel is bezig met fpga ‘ s in de vorm tot een haalbare optie is voor de machine learning. Google zet zijn gewicht achter de custom-gemaakt van TPU chips. AWS is een aanpassing van de cloud en het vrijgeven van een aangepaste chip van zijn eigen genaamd AWS Inferentia. En er is een keur van startups die werken aan nieuwe AI-chips, met de meest high-profile onder degenen, GraphCore, die net bereikt eenhoorn status en heeft zijn chips om partners te selecteren.
Regelgeving, governance, licensing
Wat organisaties met hun gegevens doen is niet langer iets dat alleen betrekking heeft op een stelletje geeks. Gegevens heeft de macht te bemoeien verkiezingen, verlenen of weigeren van de toegang tot financiering en de gezondheidszorg, maken of breken reputatie en fortuin, het verschil maken voor bedrijven en particulieren. Het bevindt zich aan reden dat enige vorm van regulering is nodig voor iets dat is uitgegroeid tot dit centrum voor de samenleving.
Ook: Apache Vonk makers te standaardiseren verdeeld machine learning-training, uitvoering en implementatie
De EU leidt de weg met GDPR, die van kracht wordt in 2018. GDPR is in feite een wereldwijde verordening, als het gaat om iedereen die actief zijn in de EU, of het hebben van interactie met de burgers van de EU. Als de eerste verordening in dit domein met dergelijke verstrekkende gevolgen, GDPR is vervuld met angst, onzekerheid en twijfel. Door empowerment van individuen om de controle van hun gegevens, GDPR dwingt organisaties om hun data governance rechts.
Organisaties moeten in staat zijn antwoord te geven op vragen als waar hun gegevens vandaan komt, hoe het wordt gebruikt, en of gebruikers op de hoogte zijn en toestemming hebben gegeven om hun gegevens worden verzameld en verwerkt, en voor welk doel. Om dit te doen, moeten zij beschikken over de juiste processen en metagegevens in de plaats. Data lineage en toegangsrechten en beleidsregels zijn een onderdeel van wat we verwijzen naar onder de overkoepelende term voor data governance: Weten waar de gegevens vandaan komt, waar het wordt gebruikt voor, wanneer, waarom en door wie.
Verordening zoals GDPR kan innovatie in machine learning en kunstmatige intelligentie, om ze te laten interpretable. (Afbeelding: PC Mag)
Contra-intuïtief, als het mag lijken, verordening, zoals de GDPR kan innovatie. Voor de één, waardoor leveranciers reageren op de vraag uit de markt door het maken van data governance een eerste-rangs burger, het toevoegen van functies te ondersteunen. Bovendien, in machine learning, door het stimuleren van de nadruk op explainability. Met wet-en regelgeving in plaats van domeinen, zoals financieel of gezondheidszorg, transparant, verklaarbaar beslissingen uitgegroeid tot een must-have.
We zijn net begonnen om het effect te zien van de verordening op de data-gerelateerde technologie en business. In 2019 PSD2 een andere EU-verordening die krachten financiële instellingen openen hun gegevens aan derden van kracht zullen worden. Dit gaat om het cascade effect op de markt. En laten we niet vergeten de beruchte EU Copyright directive, die is over om maatregelen te nemen, zoals het uploaden van filters en een link belastingen.
Moet lezen
Toyota en SoftBank zijn samen te werken om big data mobiliteit CNET
De top 10 van big data kaders gebruikt in de onderneming TechRepublic
Laatste maar niet de minste, we zien dat de gegevens platforms nota te nemen van de werkelijkheid, dat is de cloud en cloud pocheren, of “strip-mining’: Het inbreuk te maken van open source/open kern platformen door cloud providers. Naast de aanpassing van hun aanbod om te draaien in meerdere omgevingen, zoals managed services, of iPaaS, datavendors reageren door aanpassing van hun licenties. Samenvloeiende en Tijdschaal hebben het gedaan, we verwachten meer van dit te zien.
Het Jaar van de Grafiek
Bellen naar 2018, het jaar van de grafiek is onze opener van vorig jaar. U kunt bellen met het vooroordeel, of een vooruitziende blik, want we hebben een speciale relatie met graph databases. Één van beide manier, het blijkt dat we waren niet de enigen. Grafiek databases steeds de toonaangevende categorie in termen van groei en rente zoals vastgelegd door de DBEngines index sinds 2014.
Ook: Eigenwijs en open machine learning: De nuances van het gebruik van Facebook ‘ s PyTorch
Veel van dat te maken heeft met AWS en het vrijgeven van Microsoft graph-database producten, met AWS Neptunus gaat GA in Mei 2018 en het deelnemen Azure Kosmos DB in deze levendige markt dat meer dan 30 leveranciers in totaal. Natuurlijk, ze hebben elk hun sterke en zwakke punten, en niet alle van hen zijn geschikt voor alle use cases.
Het oppakken van de industrie-experts, Gartner opgenomen Kennis Grafieken in de hype cycle in augustus 2018. Of dit zinvol is voor een technologie die is minstens 20 jaar oud zijn en wat dit allemaal betekent, is een andere discussie, maar het feit blijft: de Grafiek is hier te blijven. Grafiek werkelijk aan de hand is mainstream, met analisten, zoals collega-ZDNet medewerker/Ovum analist Tony Baer het geven van een shoutout.
Het Jaar van de Grafiek zijn alleen aan de slag
We zien het graag van Airbnb, Amazon, eBay, Google, LinkedIn, Microsoft, Uber en Zalando gebouw grafieken, en het verbeteren van hun diensten en hun bodemlijn als gevolg. We zien dat de innovatie in dit domein, met machine learning wordt toegepast voor het verrijken en aanvullen van traditionele technieken op het web schaal. We zien nieuwe standaardisatie-inspanningen, die gericht zijn om toe te voegen aan de bestaande normen onder de auspiciën van het W3C.
We zien leveranciers verhoogt hun spel en hun financiering en grafieken wordt onderzocht als een fundamentele metafoor op die software en hardware voor een nieuw tijdperk gebouwd kan worden. We zullen zien en meer van dit in 2019, en wij zullen hier bij te houden.
Vorige en aanverwante dekking:
De AI-chip eenhoorn dat is ongeveer om de wijze alles heeft computational Grafiek in de Kern
AI is de meest ontwrichtende technologie van onze levens, en AI-chips zijn de meest storende infrastructuur voor AI. Door die maatregel is het effect van wat Graphcore gaat over tot het massaal los te laten in de wereld, is niet te beschrijven. Hier is hoe de grenzen van de Wet van Moore met IPUs werkt, en hoe het zich verhoudt tot de huidige stand van de techniek op de hardware en software niveau. Moet de gevestigde Nvidia zorgen, en gebruikers zich verheugen?
De opkomst van Kubernetes belichaamt de overgang van big data om flexibele data
Kan een platform ontwikkeld voor de ondersteuning van tijdelijke toepassingen worden het besturingssysteem van de keuze voor het uitvoeren van gegevens workloads in de multi-cloud en hybride cloud-tijdperk? Lijkt het wel op, maar we zijn niet alleen er nog niet.
Wil customer engagement? Investeren in data-integratie, metadata, data governance, zegt Informatica
Wat doet een Data Hub Referentie-Architectuur te maken hebben met Customer Engagement? Veel, volgens Informatica, wie wil aanvullen Adobe, Microsoft, SAP, in hun Open Data Initiatief. De grote vraag is echter of dit de benen heeft.
Real-time verwerking van gegevens net meer opties: LinkedIn releases Apache Samza 1.0 streaming kader
Samza is nu in de buurt van pariteit met andere Apache open-source streaming kaders zoals Flink en Spark. De belangrijkste functies in Samza 1.0 SQL en een hoger level API, de vaststelling van Apache Bundel. Wat betekent dit voor deze ruimte, en hoe kies je?
Black Friday’, ‘Cyber Monday’ betekent dat er meer fraude; machinaal leren aan de redding?
Op ‘Black Friday’, ‘Cyber Monday’, en andere retail-piek punten aankopen van nieuwe hoogten elk jaar, en een poging tot fraude volgt pak. Hoe kunnen de gegevens en het domein kennis worden benut safegueard consumenten en retailers?
Van big data naar AI: Waar staan we nu, en wat is de weg vooruit?
Het duurde AI gewoon een paar jaar te gaan van onderstroom naar mainstream. Maar ondanks de snelle vooruitgang op vele fronten, AI is nog steeds iets waar weinig begrijpen en nog minder kan beheersen. Hier zijn enkele tips over hoe om het te laten werken voor u, ongeacht waar u bent in uw AI reis.
Verwante Onderwerpen:
Big Data Analytics
Innovatie
CXO
Kunstmatige Intelligentie
Enterprise Software
Opslag
0