pink floid
© Rob Verhorst/Redferns/Getty ImagesPink Floyd nastupa na pozornici Earl's Courta u Londonu tijekom turneje The Wall Tour 6. kolovoza 1980. Istraživači su ponovno stvorili pjesmu benda "Another Brick in the Wall, Part 1" iz aktivnosti mozga slušatelja .
Prepoznatljive verzije klasične rock pjesme, u ovom slučaju "Another Brick in the Wall" britanske grupe Pink Floyd, mogu se rekonstruirati iz moždane aktivnosti. Baš to uspjelo je istraživačima Kalifornijskog sveučilišta Berkeley, koji su o tom pothvatu izvijestili u časopisu otvorenog pristupa PLOS Biology.

Dekodiranje i rekonstrukcija

Kako bi rekonstruirali pjesmu, koristili su se nelinearnim modeliranjem za dekodiranje moždane aktivnosti. Modeli kodiranja otkrili su i novu kortikalnu podregiju u temporalnom režnju koja je u osnovi percepcije ritma, što bi se moglo iskoristiti u budućim sučeljima mozak-stroj.

Prijašnja istraživanja su pokazala da se računalno modeliranje može koristiti za dekodiranje i rekonstrukciju govora, ali dosad nije postojao prediktivni model za glazbu koji bi uključivao elemente kao što su melodija, harmonija ili ritam, kao i različita područja moždane mreže za obradu zvuka.

mozak
© BerkeleyAnatomski položaj elektroda koje reagiraju na pjesmu
Moždana aktivnost

Istraživači s Berkeleyja uspjeli su izraditi takav model primjenom nelinearnog dekodiranja moždane aktivnosti snimljene s 2668 elektroda, postavljenih izravno na mozgove 29 pacijenata koji su slušali klasični rock.
mozak
© BerkeleyRendgenski CT sken glave jednog od volontera prikazuje elektrode raspoređene preko temporalnog režnja mozga, gdje se obrađuju zvukovi
Moždana aktivnost na 347 elektroda bila je posebno povezana s glazbom, uglavnom smještena u tri regije mozga: gornji temporalni girus (STG), senzorno-motorni korteks (SMC) i donji frontalni girus (IFG).

Jedinstveno područje

Analiza elemenata pjesme otkrila je jedinstveno područje u STG-u koje predstavlja ritam, u ovom slučaju ritam gitare u rock glazbi. Kako bi saznali koje su regije i koji elementi pjesme najvažniji, uklanjali su različite podatke i zatim te rekonstrukcije usporedili sa stvarnom pjesmom. Anatomski su otkrili da su rekonstrukcije najviše pogođene uklanjanjem elektroda s desnog STG-a.
opet mozak
© BerkeleyKodiranje glazbenih elemenata
Funkcionalno, uklanjanje elektroda povezanih s početkom zvuka ili ritmom također je uzrokovalo degradaciju točnosti rekonstrukcije. Ova bi otkrića mogla imati implikacije na sučelja mozak-stroj, poput protetskih uređaja koji pomažu u poboljšanju percepcije intonacije te varijacija u brzini i glasnoći ritma i melodije govora.