Deezer virittelee tekoälyä kappaleiden tunnetilojen ja intensiteetin tunnistamiseen – analysoi sekä musiikkia että sanoitusta

Deezer-suoratoistopalvelun tutkijat ovat kehittäneet uutta tekoälyjärjestelmää, joka osaa luokitella kappaleita niiden tunnetilan ja intensiteetin perusteella. Tutkimustuloksia kuvaillaan Arxiv.orgissa julkaistussa paperissa “Music Mood Detection Based on Audio Lyrics With Deep Neural Nets”. Asiasta uutisoi VentureBeat.

Deezerin menetelmässä neuroverkolle syötettiin kappaleiden audiosignaalia yhdessä sanojen lingvistisen mallinnusten kanssa. Sen jälkeen neuroverkkoa koulutettiin edelleen LastFM-palvelun Million Song Datasetissä kappaleisiin liitettyjen tunnetilaan viittaavien asiasanojen avulla. Näistä 14 000 englanninkielistä sanaa määriteltiin niiden negatiivisuuden ja positiivisuuden sekä rauhallisuuden ja energisyyden perusteella.

Näin luotiin vajaan 19 tuhannen kappaleen tietokanta, jolla tekoälyä opetettiin tunnistamaan tunnetiloja ja jolla testattiin ryhmän teorioita. Sanoja ja musiikkia tutkimalla päästiinkin tarkempiin tuloksiin kuin pelkästään musiikkia tai sanoitusta analysoimalla. Asiasanat yhdistettiin Deezerin kappalevalikoiman metatietoon kuten kappaleiden ja artistien nimiin sekä albumien nimiin.

Järjestelmän avulla onnistuttiin tutkimuksen mukaan tunnistamaan paremmin kappaleiden rauhallisuutta ja energisyyttä kuin perinteisillä menetelmillä. Positiivisuutta ja negatiivisuutta se onnistui tulkitsemaan jokseenkin yhtä hyvin kuin perinteiset keinot.

Menetelmä ei ole vielä valmis käytettäväksi osana Deezeriä, ja tutkimusryhmä tutkiikin vielä uusia tapoja opettaa tekoälyä. Tutkimuspaperin mukaan esimerkiksi sellainen tietokanta, joka sisältäisi synkronoidut sanoitukset ja äänisignaalin, auttaisi tekoälyä analysoimaan kappaleiden sävyjä entistä paremmin. Onnistuessaan suoratoistopalvelu pystyisi luomaan automaattisesti eri tunnetiloihin perustuvia soittolistoja ilman ihmiskäden kosketusta.

www.deezer.com