Na Wydziale Neofilologii powstaje nowoczesne laboratorium badań językowych, a w nim korpus Multico. Inwestycja jest możliwa dzięki ogólnopolskiemu projektowi „Cyfrowa Infrastruktura Badawcza dla Humanistyki i Nauk o Sztuce DARIAH-PL”, w którym uczestniczy UAM.
W korpusie Multico naukowcy gromadzą dane związane z komunikacją interpersonalną. Interesuje ich całe spektrum informacji pojawiających się w wypowiedzi: mimika, gestykulacja, ruchy ciała, które mogą wpływać na interpretację komunikatu werbalnego. Korpus ma charakter multimodalny – łączy informacje dotyczące modalności wzrokowej (to, co widzimy) ze słuchową (to, co słyszymy).
Badacze zdecydowali, że zbiór będzie reprezentował trzy rodzaje komunikatów: wystąpienia perswazyjne (przemowy posłów w parlamencie i wystąpienia na platformie TEDex), rozmowy prowadzone w większej grupie osób (programy sportowe) i dialogi zadaniowe. Dlaczego akurat te? Bo uczestnicy posługują się w nich zróżnicowanymi środkami komunikacji. Wypowiedzi polityków cechuje na przykład cała paleta środków retorycznych.
– Analiza takiego materiału może być bardzo użyteczna dla osób zawodowo zajmujących się wystąpieniami publicznymi, które chciałyby na przykład dowiedzieć się, w jaki sposób przemawia skuteczny mówca – informuje prof. UAM Maciej Karpiński, koordynator zespołu Multico.
Korpus multimodalny jest próbką możliwości zespołu badawczego i laboratorium. W przyszłości naukowcy będą mogli realizować podobne korpusy na komercyjne zamówienia lub w ramach innych projektów badawczych czy badawczo-rozwojowych. Materiały można również wykorzystać w szkoleniach, między innymi z komunikacji interpersonalnej. Kolejne zastosowanie znajdą w tworzeniu awatarów – postaci animowanych, które mówią mową syntetyczną i są dość szeroko wykorzystywane przykładowo jako przewodnicy w muzeach. Ale to nie wszystko. Nagrane wypowiedzi mogą posłużyć jako materiał do trenowania systemów rozpoznawania mowy, które najczęściej mają charakter samouczący i projektowania systemów dialogowych.
Korpus będzie dostępny dla naukowców bezpłatnie na platformie serwerowej konsorcjum CLARIN-PL. Poszerzy paletę korpusów powstałych już wcześniej na Wydziale Neofilologii. Oczywiście inwestycja łączy się z zakupem nowoczesnego sprzętu.
– Zakupiliśmy między innymi kamery rejestrujące nawet kilkaset klatek obrazu w wysokiej rozdzielczości na sekundę. Umożliwiają bardzo precyzyjną, poklatkową analizę ruchu. Dysponujemy również przenośnymi kamerami z sensorami głębi. Zastępują one wielokamerowe systemy rejestracji ruchu starszej generacji, pozwalając precyzyjnie rejestrować ruchy danej osoby. To ogromne ułatwienie i jakościowa zmiana komfortu badań, umożliwiająca między innymi pracę w terenie czy w niewielkich pomieszczeniach. Aby w naszych badaniach nawiązywać do tego, co się dzieje na świecie, musimy dysponować aparaturą spełniającą współczesne standardy techniczne – mówi prof. Karpiński.
Kluczową sprawą jest późniejsza obróbka danych, która teraz będzie częściowo zautomatyzowana, dzięki wykorzystaniu odpowiedniego oprogramowania. Część materiału będzie opisywana manualnie ze wspomaganiem komputerowym – zespół wykorzystuje do tego celu darmowy program Elan, będący standardem w badaniach nad komunikacją multimodalną. Do transkrypcji i a notacji, a także wybranych analiz sygnału mowy zespół stosuje program Annotation Pro, który powstał przy udziale zespołu pracowników Wydziału Neofilologii dzięki inicjatywie prof. UAM Katarzyny Klessy.
– Opisywanie materiału, obejmujące anotację ruchu i wypowiedzi, jest niezwykle pracochłonne, i w przypadku większych korpusów są to nawet tysiące roboczogodzin. Specjalista musi też kontrolować analizy realizowane automatycznie, bo wie, gdzie szukać fragmentów z błędami popełnionymi przez programy i jak je poprawiać. W takich pracach zespół często wspierają studenci specjalności lingwistyka komputerowa, którzy dzięki udziałowi w zajęciach z pogranicza lingwistyki i informatyki mają wystarczającą wiedzę i umiejętności – wyjaśnia prof. Klessa.
Nad całością pracuje zespół w składzie: koordynator laboratorium Multico prof. Maciej Karpiński, prof. Katarzyna Klessa, która pełni również funkcję kierowniczki projektu DARIAH na UAM, prof. UAM Janusz Taborek, dr hab. Ewa Jarmołowicz-Nowikow i mgr Michał Piosik. W obszarze dotyczącym związków mowy i muzyki badacze z Wydziału Neofilologii ściśle współpracują z innym zespołem w ramach projektu DARIAH-PL działającym w Instytucie Muzykologii WNoS. Od strony administracyjnej zespół wspiera mgr Elwira Wilczyńska.
Projekt (POIR.04.02.00-00-D006/20) będzie realizowany do końca 2023 roku, ale już teraz osoby zainteresowane skorzystaniem z opracowywanej infrastruktury mogą szukać kontaktu pod adresem dariah@amu.edu.pl.
Zobacz też: Prof. Mirosław Wobalis. DARIAH spełnia marzenia filologów
