Pomysł powołania międzywydziałowego Laboratorium do Analizy Muzyki, Mowy i Gestu na UAM narodził się we współpracy muzykologa prof. UAM Piotra Podlipniaka oraz językoznawców prof. UAM Macieja Karpińskiego i prof. UAM Katarzyny Klessy.
– Naszym zamiarem było stworzenie laboratorium, które będzie zorientowane na badania porównawcze dwóch bardzo interesujących ludzkich zjawisk komunikacyjnych, jakimi są język naturalny i muzyka – mówi prof. Piotr Podlipniak. – Postanowiliśmy zbudować narzędzia komputerowe do analizy elementów strukturalnych obu zjawisk – wyjaśnia.
Abyśmy mogli zrozumieć, na jakiej zasadzie działają podobne narzędzia, musimy wiedzieć, że zarówno w strukturze muzyki, jak i języka naturalnego wyróżnić można kategorie dyskretne. W przypadku muzyki są to klasy wysokości dźwięków, interwały czy wartości rytmiczne, w przypadku języka – fonemy, morfemy, słowa. Kategorie te można „przełożyć” na formę cyfrową za pośrednictwem aplikacji komputerowych, powstających, tak jak i laboratorium, w ramach projektu DARIAH-PL.
Narzędzia cyfrowe projektuje i wykonuje informatyk Kamil Sieniawski we współpracy z grupą badawczą Instytutu Muzykologii i Wydziału Neofilologii: prof. Podlipniakiem, dr. Łukaszem Smoluchem, doktorantem Wojciechem Krzyżanowskim, dr Brygidą Sawicką-Stępińskią, dr hab. Ewą Jarmołowicz-Nowikow, prof. Karpińskim oraz prof. Klessą.
Obecnie badacze oraz informatycy tworzą bazę danych muzycznych, które mają symulować środowisko muzyczne współczesnego człowieka. Baza jest budowana na podstawie informacji pozyskanych z internetu, głównie z platformy YouTube.
– Nasze narzędzie pozwala zorientować się, które utwory muzyczne są częściej pobierane, a które rzadziej, co daje nam obraz statystyczny środowiska muzycznego, a po drugie pozwala ekstrahować z nagrań informacje strukturalne, czyli interwały muzyczne i wartości rytmiczne. Dodatkowo zespół informatyczny opracowuje oprogramowanie pozwalające obliczać, jak bardzo spodziewamy się następujących po sobie dźwięków muzyki, mowy, ale też gestów towarzyszących mowie – mówi prof. Podlipniak.
Dzięki wspomnianym narzędziom można będzie weryfikować eksperymentalnie współczesne modele predykcyjne dotyczące percepcji mowy i muzyki. W badaniach takich będzie można wykorzystać aparaturę EEG i narzędzia do pomiarów markerów somatycznych aktywności autonomicznego układu nerwowego, na przykład zmiany przewodności skóry, częstości bicia serca i oddechów.
– W przeszłości razem z prof. Karpińskim porównywaliśmy reakcje ludzi na następstwa dźwięków. Zaobserwowaliśmy, że zaburzenie reguł tonalnych wiązało się z silną reakcją fizjologiczną. To pokazuje, że jest wyraźna korelacja między percepcją struktury przebiegu muzycznego a reakcją emocjonalną na elementy tej struktury. Reakcji tych często sobie nie uświadamiamy – wyjaśnia naukowiec.
Umysł jest narzędziem predykcyjnym, czyli przewiduje to, co nastąpi, dlatego badacze zamierzają sprawdzać, jak nasze przewidywania wiążą się z naszymi reakcjami fizjologicznymi w czasie słuchania muzyki, wypowiedzi czy obserwowania gestykulacji mówiących ludzi. Ale działalność laboratorium w przyszłości nie musi się ograniczać tylko do badania percepcji mowy, muzyki i gestu. Równie dobrze może służyć badaniu innych elementów ekspresji dźwiękowej, jak płacz czy śmiech. W grę wchodzi wszystko, co może korelować z doświadczeniem muzycznym czy językowym człowieka – spektrum możliwych zastosowań jest bardzo duże.
Z laboratorium oraz gromadzonej w nim wiedzy będą korzystać zarówno badacze z UAM, jak i naukowcy z innych ośrodków badawczych. Potencjalnie jednostka może być użyteczna również dla biznesu. Przedsiębiorstwa zajmujące się dystrybucją muzyki popularnej mogłyby na przykład skorzystać z usługi polegającej na określeniu, jakie następstwa dźwięków są pożądane przez słuchaczy, co pomoże szacować popularność utworów muzycznych i zwiększać zyski.
Warto podkreślić, że laboratorium mieści się w piwnicach Collegium Historicum na Morasku. Z pozoru niezbyt spektakularna lokalizacja jest doskonała do prowadzenia badań dźwiękowych, bo w położonym na uboczu pomieszczeniu panuje cisza, którą trudno byłoby uzyskać w centrum miasta.
Projekt (POIR.04.02.00-00-D006/20) będzie realizowany do końca 2023 roku, ale już teraz osoby zainteresowane skorzystaniem z opracowywanej infrastruktury mogą szukać kontaktu pod adresem dariah@amu.edu.pl.
Zobacz też: Prof. Karpiński. DARIAH-PL Multico na światowym poziomie
