Forskare vid Deezer har utvecklat ett AI-system som kan associera vissa låtar med stämningar och intensitet, som såg med VentureBeat. Arbetet beskrivs i en nyligen publicerad rapport om Arxiv.org titeln “Musik Humör Upptäckt Baserad på Ljud Texter Med Djup Neurala Nät.”
För att bestämma en låt musikaliska humör, laget anses vara både ljudsignal och texten. För att starta de matas ljud signaler till ett neuralt nätverk, tillsammans med modeller att rekonstruera den språkliga sammanhang av ord. Sedan, för att lära det hur man bestämmer stämningen i en låt, de använde Miljoner Låten Dataset (MSD), som är en samling av metadata för över 1 miljon samtida låtar. I synnerhet de som användes Senast.fm: s dataset, som tilldelar kännetecken på låtar från över 500 000 unika taggar. Många av dessa taggar är humör-relaterade, och över 14 000 engelska ord från dessa taggar gavs två skala betyg som står i relation till hur negativ eller positiv, ett ord är, och också hur lugn eller energisk ett ord för att träna systemet.
De Miljoner Låten Databas som bara innehåller metadata för låtar, inte låtarna i sig, så laget sedan paras ihop all denna information till Deezer: s katalog med kännetecken som låttitlar, artistnamn, albumtitlar. Cirka 60 procent av den resulterande dataset (18,644 spår) användes för att träna AI, med resten används för att bekräfta och ytterligare testa system.
Denna typ av arbete ses som ett sätt att ytterligare undersöka hur musik, texter och humör korrelerar
I slutet, forskarna drog slutsatsen att AI var bättre kunna upptäcka hur lugn eller energisk en låt var bättre än mer traditionella metoder som inte använder AI, och utförs ungefär samma när det kom till att upptäcka om en låt var positiva eller negativa. “Det verkar som att denna ökning av prestanda är resultatet av kapaciteten i vår modell för att presentera och använda mid-level korrelationer mellan ljud och texter, särskilt när det gäller att förutsäga valence,” forskarna skrev på papper.
Det är noterade i tidningen att för att verkligen utnyttja detta arbete, en “databas med synkroniserad text och ljud skulle vara till stor hjälp för att gå vidare.” Om en sådan databas fanns, forskarna tror att de kan mer noggrant bestämma den tvetydighet i stämningen av spår, som “i vissa fall, kan det finnas betydande variationer mellan lyssnare” (människor som kanske inte alltid är överens om att om en låt är positiv eller negativ, till exempel). I slutändan, tror forskare att denna typ av arbete ses som ett sätt att ytterligare undersöka hur musik, texter och humör korrelerar, liksom möjligheten av med djupt lärande modeller kunna sortera och hitta omärkta data i hög volym.
Detta är långt ifrån första gången Deezer har försökt att använda AI för att sortera musik. Förra året, det tog en utmaning på Sónar-festivalen för att besvara frågan, “När en användare är hemma, hur kan vi identifiera i vilket sammanhang de lyssnar på musik och rekommendera musik detta?” Deezer skulle teoretiskt sett kunna använda denna typ av maskin lärande i framtiden för att automatiskt sortera och katalogisera musik — inte bara med grundläggande metadata, som konstnärens namn eller genre av musik, men något mer nyanserad som humör.