Salesforce Forskning: Kunskap grafer och maskininlärning för att driva Einstein

0
137

Vad är nytt i grafdatabas världen? Här är en snabb recap
Nya spelare, nya funktioner, plattformar, och kryssa i rutor. Grafdatabaser, och Neo4j, rör sig på.

En super nördigt ämne, som kunde ha super viktiga konsekvenser i den verkliga världen. Det är en beskrivning som mycket väl skulle kunna passa allt från kall fusion till kunskap grafer, så lite uppackning är i sin ordning. (Ledtråd: det handlar om Salesforce och Salesforce är inte i kall fusion så långt som vi vet.)

Också: Salesforce intron Einstein Röst, en AI röst assistent

Om du är i vetenskap, är chansen att du vet arXiv.org. arXiv är en förvaringsplats för elektronisk publicering preprints för vetenskapliga artiklar. Med andra ord, det är där spjutspetsforskning ofta visas först. Några månader tillbaka, en publikation från forskare från Salesforce dök upp i arXiv, med titeln “Multi-Hop Knowledge Graph Resonemang med Belöning att Forma.”

Uppsatsen beskriver en teknik för att med hjälp av kunskap grafer med maskininlärning, speciellt en gren av lärande som kallas inlärning. Detta är något som har stort löfte som ett sätt att få det bästa av två världar: Kurator, top-down kunskapsrepresentation (kunskap grafer) och framväxande, bottom-up mönster igenkänning (machine learning).

Denna till synes torrt ämne som väckt vårt intresse för ett antal skäl, inte minst som var utsikterna för att se detta som tillämpas av Salesforce. Xi Victoria Lin, research scientist på Salesforce och papper främsta författare, var vänlig nog att svara på våra frågor.

Salesforce Forskning: det handlar om att besvara frågor

Till att börja med det uppenbara, det faktum att denna uppsats publicerades säger en hel del i och av sig själv. Salesforce förmodligen står inför samma problem som alla andra står inför inom bemanning sin forskning i dessa dagar: bommen i tillämpligheten av maskinen lärande i verkliga problem innebär att det finns en pågående tävling för att locka och behålla forskare.

Dessutom: Med Einstein Röst, konversera CRM är på väg att gå mainstream

  
Människor i forskarsamhället har ett ethos för att dela sina framgångar med världen genom att publicera i konferenser och tidskrifter. Som förmodligen har en hel del att göra med varför vi ser ett antal av dessa publikationer som nyligen kommer från platser som Salesforce.

Det papper, som presenteras av Lin i 2018 Konferens på Empiriska Metoder inom Natural Language Processing (NLP), togs emot väl. Författarna har också släppt källkod på Github. Men vad är det om, och vad är motivation, och det nya i deras strategi?

salesforce-einstein-1024x576.png

Salesforce Einstein: En virtuell AI assistent inbäddade i Salesforce erbjuder. Salesforce söker efter nya sätt att lägga till förklarliga fråga att svara för att dess kapacitet.

(Bild: Salesforce -)

För Salesforce Forskning, det handlar om frågan att besvara. Det är uppenbart att surfa via deras viktiga ämnen och publikationer. Och det är logiskt, med tanke på Salesforce erbjudande: skulle det inte vara mycket enklare och mer produktivt att fråga vad det är du är intresserad av att hitta i ditt CRM-system, snarare än att behöva gå via ett API, eller en användar-gränssnitt, oavsett hur väl utformade kan de vara?

Lin säger:

“I en nära framtid, vi vill göra det möjligt för maskiner att svara på frågor över multi-modal information, som inkluderar ostrukturerad data, till exempel text och bilder, liksom strukturerade såsom kunskap grafer och web-tabeller. Detta arbete är ett steg mot en byggsten som gör det möjligt question answering system för att effektivt kunna hämta rikta information från (ofullständig) knowledge graph.”

Hon gick med på att lägga till att Salesforce Forskning som syftar till att bekämpa AI: s kommunikation problem. Lin och hennes kollegor arbetar med ett brett spektrum av NLP problem, som spänner från framsteg i textsammanfattning för att lära sig att bygga mer effektiva natural language gränssnitt för att en enhetlig strategi för att språket förstå:

“Djupt lärande är det övergripande temat i labbet, vilket innebär att vi även på områden utanför NLP, inklusive grundläggande machine learning projekt såsom nya neurala strukturer och andra tillämpningsområden såsom datorseende och tal-teknik.”

Inte testade på verkliga data-ännu

Lin har också betonat att djupinlärning är inte slutet alla. Det var till exempel påpekade för henne att vägen att ta kontakt med Lin team presenterades som använder djupt inlärning är relaterade till den “relationella att hitta rutt” teknik föreslås i en 1992 papper:

“Learning-algoritm i att papper är inte neurala-baserade. Min ta-bort från detta är att ompröva tidigare fynd i induktiv logikprogrammering och eventuellt kombinera dem med djup inlärning kan resultera i starkare algoritmer.”

Den självklara platsen för integration skulle vara Einstein för Salesforce egen virtuell assistent. Baserat på Lin svar, det ser inte ut som detta arbete har införlivats i Einstein, men begreppsmässigt det verkar som möjligt. Lin förklarade att detta arbete är ett forsknings-prototyp, använder benchmark-data tillgänglig för den akademiska världen.

Också: Dreamforce: Einsteins nya vän Siri var största vinnare

opera-snapshot-2019-03-18-162015-arxiv-org.png

En ofullständig kunskap diagram, där vissa länkar (kanter) är inte explicit.

(Bild: Lin et. al.)

Det verkar som Salesforce-data och infrastruktur var inte användas i samband med publicering. Alla data Lin som används skulle kunna passa in i en 4G RAM maskin. Särskilda datastrukturer för representation och lagring för att möjliggöra snabb åtkomst av diagrammet var egentligen inte behövs, sade Lïn:

“Jag är lagrade fakta om grafen i en vanlig .txt-filen och läsa hela kurvan i minnet när du kör experiment. Detta är vanligt i KG forskning i den akademiska världen. För att tillämpa modellen på industriell skala kunskap graphs skulle kräva särskild infrastruktur.”

Multi-hop resonemang är ett effektivt tillvägagångssätt för att svara på frågan (QA) över att man har ofullständig kunskap grafer. Det finns dock vissa problem med detta tillvägagångssätt: Falska negativa, och känslighet för falska vägar. Lin: s arbete bidrar till att ta itu med dessa, till stor del genom att lägga till fler länkar till ofullständig kunskap grafer.

En sak som vi undrade var om de länkar som finns lagrad, eller skapas i farten. Lin förklarade att så långt som de har fått fram svar på farten för prototypen. Men i verkliga världen de två metoder skulle sannolikt vara blandad:

“Man skulle cache de länkar som genereras manuellt kontrollera dem med jämna mellanrum och lägga den kontrollerade länkar tillbaka till knowledge graph för att återanvända och skapa nytt slutledning vägar. Vi har inte testat denna hypotes på verkliga data.”

Grafer och maskininlärning för att vinna

Ett annat bidrag av Lin arbete ligger på vad som kallas symbolisk compositionality av knowledge graph relationer i bädda metoder. Inbäddning är en teknik som ofta används i machine learning, bland annat maskin lärande resonemang med grafer. Men detta tillvägagångssätt inte uttryckligen utnyttja logiska sammansättning regler.

Också: Salesforce gör myTrailhead plattform för lärande som finns

Till exempel, från embeddings (En born_in Kalifornien) & (Kalifornien is_in OSS), (EN born_in OSS) skulle kunna utläsas. Men logiskt sammansättning steg som den här är att man lärt sig implicit genom att knowledge graph embeddings. Detta innebär att denna strategi kan inte erbjuda en sådan logisk slutledning vägar som stöd bevis för ett svar.

Lin: s strategi tar diskret diagram vägar som indata, och därför är explicit modellering compositionality. Detta innebär att det kan erbjuda användaren en slutledning väg som består av kanterna finns i knowledge graph som stöd bevis. Med andra ord, detta kan leda till så kallade förklaras AI, med strukturen av den kunskap diagram som underlag för svar, på bekostnad av mer beräkningsintensiva algoritmer.

knowledgegraphsmachinelearning.jpg

Kombinationen av grafer och maskininlärning är en lovande forskning riktning får mer uppmärksamhet som ett sätt att överbrygga top-down och bottom-up-AI

Crazymuse AI

Kombinera grafer och maskininlärning och har fått mycket uppmärksamhet på sistone, speciellt eftersom de verk som publicerats av forskare från DeepMind, Google Hjärnan, MIT, och University of Edinburgh. Vi frågade Lin vad hennes åsikt om detta är: Är graphs ett lämpligt sätt att mata neurala nätverk? Lin anser att detta är en öppen fråga, och ser en hel del forskning som behövs i denna riktning:

“Kombinationen av neurala nätverk och grafer i NLP är ganska preliminärt — mest neurala arkitekturer ta sekvenser som indata, som är den enklaste grafer. Även vår modell använder relationsdatabaser vägar istället för relationella subgraphs.”

Lin nämnda arbete som utförts av forskare från USC och Microsoft [PDF], som generaliserar LSTMs att modellen grafer. Hon nämnde också arbete som utförs av Thomas N. Kipf från Universitetet i Amsterdam [PDF], föreslår diagram convolutional nätverk för att lära sig gömd nod presentationer som stöd node klassificering och andra efterföljande uppgifter.

“Det är definitivt intressant att se fler och fler neurala arkitekturer särskilt catering för den som tar allmänna grafer som indata som föreslås. Vi ser grafer som används för att representera relationer mellan objekt i flera AI-domäner i dessa dagar. Grafen är en kraftfull representation i den meningen att genom att helt enkelt olika definitioner av noder och kanter kan vi modellera en mängd olika datatyper med hjälp av det.

Medan slutledning under graphs är svårt i allmänhet, det finns en möjlig väg för att integrera multimodala data (text, bilder, tabeller, etc.). UC Irvine forskare presenterade en riktigt intressant uppsats i EMNLP, vilket förbättrar knowledge graph tillägg genom att utnyttja multimodal relationsdata. Deras föreslagna arkitekturen, till exempel, tar bilder och fri-form texter som nod har.”

Takeaway? Det kan vara tidiga dagar för grafen-baserade maskin lärande resonemang, men de preliminära resultaten ser lovande ut. Så, om du en dag se din frågor besvaras av Einstein, tillsammans med stödjande belägg för detta, kommer du antagligen diagram och forskare som Lin att tacka för det.

Relaterade artiklar:

Salesforce intron nya Sales Cloud featuresSalesforce ger bildsökning till Handel CloudSalesforce lanserar ny låg-kod app byggnad toolsSalesforce utbildning hopp om att hitta olika jobb CNETSalesforce Tjänsten Cloud Einstein lägger AI till CRM TechRepublic

Relaterade Ämnen:

Innovation

Digital Omvandling

CXO

Sakernas Internet

Affärssystem

Smarta Städer