Forskere på Deezer har udviklet et AI-system, der kan knytte visse sange med stemninger og intensiteter, som spottet af VentureBeat. Arbejdet er beskrevet i en nyligt publiceret på Arxiv.org med titlen “Musik Humør Påvisning Baseret på Lyd Tekster Med Dybt Neurale Net.”
For at bestemme en sang musikalske stemning, holdet betragtes som både lydsignal og teksterne. For at starte, de fodres af lyd signaler i et neuralt netværk, sammen med modeller at rekonstruere den sproglige sammenhænge af ord. Derefter, for at lære det, hvordan det er at afgøre stemningen i en sang, de brugte Millioner Sang Datasæt (MSD), som er en samling af metadata for over 1 million moderne sange. Især de brugte Sidste.fm ‘ s datasæt, som tildeler identifikatorer til musik fra over 500.000 unikke tags. Mange af disse tags er humør-relaterede, og over 14.000 engelske ord fra disse tags fik to skala ratings korrelerer til, hvordan negative eller positive, at et ord er, og også hvor rolig eller energiske et ord for at træne systemet.
De Millioner Sang Database, der kun indeholder metadata for sange, der ikke sangene selv, så hold derefter parret alle disse oplysninger til Deezer ‘ s katalog med identifikatorer, som sangtitler, kunstnernavne, og album titler. Omkring 60 procent af det resulterende datasæt (18,644 spor) blev brugt til at træne AI, mens resten benyttes til at validere og yderligere test af systemet.
Denne form for arbejde ses som en vej til at se nærmere på, hvordan musik, sangtekster, og stemningen korrelerer
I slutningen forskerne konkluderede, at AI blev bedre i stand til at registrere, hvor rolig eller energisk en sang, der var bedre end de mere traditionelle tilgange, der ikke bruger AI, og sunget om det samme, når det kom til at afsløre, om en sang var positiv eller negativ. “Det lader til, at denne gevinst af ydeevne er resultatet af kapaciteten af vores model til at løfte sløret for og bruge mid-niveau sammenhænge mellem lyd og lyrik, især når det kommer til at forudsige valence,” de forskere, der skrev på papir.
Det bemærkes i papiret, at for virkelig at udnytte dette arbejde, en “database med synkroniserede sangtekster og lyd vil være en stor hjælp til at gå videre.” Hvis en sådan database eksisteret, holdet mener, at de kunne mere fint bestemme tvetydighed i den stemning af spor, som “i nogle tilfælde, der kan være en betydelig variation mellem lyttere” (folk, der måske ikke altid enige om, hvis en sang er positiv eller negativ, for eksempel). I sidste ende, forskerne mener, at denne form for arbejde ses som en vej til at se nærmere på, hvordan musik, sangtekster, og stemningen korrelerer, samt muligheden for at have dyb læring modeller være i stand til at sortere og finde ud af, være uden navn data i store mængder.
Det er langt fra første gang, Deezer har forsøgt at bruge AI for at sortere gennem musik. Sidste år, det tog på en udfordring på Sónar festivalen til at besvare spørgsmålet, “Når en bruger er hjemme, hvordan kan vi opdage den kontekst, som de er, lytte til musik og anbefale musik i overensstemmelse hermed?” Deezer teoretisk kunne bruge denne type af machine learning i fremtiden til automatisk at sortere og katalogisere musik — ikke bare med grundlæggende metadata, som den kunstner eller genre af musik, men noget mere nuanceret, ligesom stemningen.