Het lijkt voice interfaces zijn een groot deel van de toekomst van computing; opduiken in telefoons, smart luidsprekers, en zelfs huishoudelijke apparaten. Maar hoe nuttig is deze technologie voor mensen die niet communiceren via spraak? Zijn we het creëren van een systeem dat de sloten uit bepaalde gebruikers?
Dit waren de vragen die geïnspireerd software ontwikkelaar Abhishek Singh maken van een mod waarmee Amazon ‘ s Alexa assistent begrijpen dat sommige eenvoudige gebarentaal opdrachten. In een video, Singh laat zien hoe het systeem werkt. Een Amazon-Echo is aangesloten op een laptop met een webcam en een aantal back-end machine learning software) het decoderen van Singh ‘ s gebaren in tekst en spraak.
“Naadloze ontwerp moet worden inclusive in de natuur.”
Spreken tot De Rand, Singh zegt het project is een “gedachte-experiment” geïnspireerd door de recente vogue voor spraak-gebaseerde assistenten. “Als deze apparaten tot een centrale manier waarop in interactie met onze huizen of het uitvoeren van taken dan sommigen dachten dat dient gegeven te worden in de richting van degenen die niet kunnen horen of spreken,” zegt Singh. “Naadloze ontwerp moet worden inclusive in de natuur.”
De werkelijke mod zelf werd gemaakt met de hulp van Google ‘ s TensorFlow software, specifiek TensorFlow.js die gebruikers in staat stelt tot code-machine learning applicaties in JavaScript (waardoor het makkelijker wordt om toepassingen uit te voeren in web browsers). Als met een machine vision software, Singh had om les te geven in zijn programma te begrijpen visuele signalen door het voeren van het trainingsgegevens. Hij kon het niet vinden geen datasets voor gebarentaal online, en in plaats daarvan creëerde zijn eigen set van signalen.
De mod alleen begrijpt een paar gebaren, maar het toevoegen van nieuwe woordenschat gemakkelijk zou zijn.
Credit: Abhishek Singh
De software is slechts een proof-of-concept op dit punt, en is niet in staat te lezen op de borden die niet gedemonstreerd in de video. Maar het toevoegen van meer woordenschat is relatief eenvoudig, en Singh zegt dat hij van plan is om open-source code en het schrijven van een verklarende blog post voor zijn werk. “Door het loslaten van de code zullen mensen in staat om te downloaden en op te bouwen op het meer of op slechts worden geïnspireerd om dit probleem de ruimte,” zegt hij tegen De Rand.
Toevallig gisteren Amazon heeft zijn eigen update voor Alexa waarmee gebruikers met het scherm uitgeruste Echo laten Zien in interactie met de virtuele assistent zonder het gebruik van spraakopdrachten. Dat laat zien dat Amazon is tenminste een begin te overwegen hoe het bouwen van toegankelijkheid in haar stem assistent, en die weten, begrijpen gebarentaal zou de volgende stap. Het is zeker dat technisch mogelijk is, als Singh ‘ s demo toont.
“Er is geen reden dat de Amazon-Show, of een van de camera-en-screen op basis van voice-assistenten kon het niet bouwen van deze functionaliteit rechts in,” zegt Signh. “Dat is voor mij waarschijnlijk de ultieme use-case van wat dit prototype toont.”