Rozmowa z Yagiz Mungan, artystą CODAME

Seria wywiadów artystów i prelegentów z festiwalu CODAME ART + TECH [2018] autorstwa Irene Malatesta

Yagiz Mungan, interdyscyplinarny artysta

Interdyscyplinarny artysta Yagiz Mungan tworzy pracę, która łączy VR / AR, dźwięk / muzykę, interakcję, wydajność, wirtualne światy i gry. Szczególnie interesują go generatywne strategie tworzenia wizualizacji i dźwięku oraz sposoby wykorzystania technologii do przekraczania granic ludzkiej percepcji i reakcji emocjonalnej. Jego praca często ma na celu ponowną aktualizację znanych doświadczeń lub dotyczy niesamowitych spotkań technologicznych we współczesnym życiu.

Mungan posiada tytuł magistra inżynierii komputerowej i magistra sztuki interaktywnej oraz wystawił swoje prace na całym świecie. Na festiwalu CODAME ART + TECH 2018 Mungan zaprezentuje projekt o nazwie Illy, sztuczna inteligencja, która komunikuje się za pomocą dźwięku bez języka.

W tegorocznym festiwalu CODAME, o kryptonimie #ARTOBOTS, odbędą się 4 dni instalacji, warsztatów, rozmów i nie tylko, skoncentrowanych wokół rosnącego wpływu sztucznej inteligencji i robotyki we współczesnym świecie. W tej rozmowie Mungan omawia te tematy i nie tylko, w tym swoje tło i eksperymenty z wczesnym dźwiękiem, w jaki sposób miksuje różne media technologiczne, aby stworzyć sztukę nowych mediów, oraz w jaki sposób VR może pomóc nam doświadczyć niemożliwego.

IM: Cześć Yagiz, dziękuję za zgodę na czat. Jesteś artystą pracującym z interaktywnymi instalacjami, interaktywną muzyką i rzeczywistością mieszaną. Czy mógłbyś zacząć od rozmowy o tym, kim jesteś i jaki rodzaj pracy wykonujesz?

YM: Lubię tworzyć interaktywne rzeczy lub rzeczy generatywne, w których komputer lub oprogramowanie jest częścią doświadczenia jako aktywny agent. Wcześniej studiowałem inżynierię i zainspirowałem się do tego, jak sprawić, by moje projekty były bardziej kreatywne. Przyjrzałem się podejściom algorytmicznym i generatywnym do mojej pracy. Byłem w stanie dotrzeć do miejsca, w którym nie było użytkownika, ale było więcej ekspresji dzięki oprogramowaniu. Stamtąd zająłem się grami: projektowaniem gier i interaktywnymi instalacjami.

Zawsze pracowałem z muzyką i sztuką, ale technologia i sztuka były dwiema osobnymi rzeczami, kiedy byłem młodszy; nie istnieli razem. Mój pomysł na ich połączenie narodził się z czasem. Kiedy zacząłem generować algorytm, napisałem oprogramowanie, które komponowało muzykę i tworzyło wizualizacje. Dostałem się do systemów, z którymi możesz wchodzić w interakcje, aby tworzyć muzykę, wideo, tworzyć kod do gry lub instalacji.

Rzeczywistość mieszana lub VR to po prostu kolejne medium do tworzenia instalacji. W VR nie masz żadnych fizycznych ograniczeń dotyczących tego, co możesz stworzyć.

Wygląda na to, że możesz opisać siebie głównie jako artystę pracującego z interaktywnością, a wszystkie te różne media były na to różne sposoby.

Tak to ująć, tak. Powiedziałbym, że jestem artystą „interdyscyplinarnym”, ponieważ kodowanie jest moim rzemiosłem. Dla mnie dźwięki zawsze są najważniejszymi aspektami rzeczy: zawsze staram się, aby były skupione na dźwięku lub muzyce. Wizualizacje są zawsze dostępne, ale zawsze staram się, aby dźwięk był bardzo ważną częścią projektu i budować go wokół niego, w przeciwieństwie do „Umieśćmy muzykę w tle”. Zamiast tego zwykle chcę zrobić to z tworzeniem muzyki.

To interesujące, ponieważ to naprawdę odrębny punkt widzenia na temat tego, czy muzyka jest przedmiotem, czy też muzyka jest w tle. Wspomniałeś wcześniej, że kodowanie jest twoim rzemiosłem. Masz tytuł magistra inżynierii komputerowej, a także magistra sztuki elektronicznej. Czy mógłbyś opowiedzieć trochę o swoim pochodzeniu i pochodzeniu oraz o tym, jak zdecydowałeś się kontynuować tę formalną ścieżkę treningową?

Pochodzę z Turcji. Skąd pochodzę, w dzieciństwie, na początku 2000 roku, była to kultura, w której, jeśli jesteś odnoszącym sukcesy uczniem, musisz iść i uczyć się pewnych przedmiotów. Nie miałem zbyt wielu opcji do wyboru, więc studiowałem inżynierię.

Zawsze czułem, że czegoś tam brakuje. Kiedy skończyłem studia magisterskie, zacząłem od badania, co można zrobić z programowaniem lub inżynierią, do uświadomienia sobie, okej, mogę to wykorzystać do tworzenia muzyki, którą lubię. Praca magisterska dotyczyła algorytmicznego tworzenia kompozycji. Kiedy skończyłem, pomyślałem, że chcę również interakcji z użytkownikiem.

Moje drugie studia magisterskie dotyczyły sztuki interaktywnej jako medium opartego na czasie. Koncentrowało się na instalacjach, pomysłach opartych na sztuce i interakcji z użytkownikiem. To była moja ścieżka.

Twoja twórcza ścieżka ma naprawdę sens: byłeś programistą UX, instruktorem uniwersyteckim, pracowałeś nad projektowaniem gier… zrobiłeś wiele różnych rzeczy, ale wszystkie one obejmowały ten element kreatywności, tworzenie czegoś i interaktywność i inżynieria. Dużo podróżowałeś. Czy możesz komentować pracę, którą miałeś i miasta, w których byłeś?

To interesujące pytanie, ponieważ tyle czasu spędziłem w szkole podstawowej. Jeśli chodzi o pracę, tytuły, które zmieniłem, ale to, co robię, są w większości takie same. Najbardziej interesująca wydaje mi się praca, którą wykonuję poza zwykłymi „zleceniami”. Ludzie, których spotykam, społeczność technologiczna i artystyczna w San Francisco. Rozmawianie z ludźmi w tej społeczności jest zawsze więcej niż zabawne, sprawia, że ​​czuję, że muszę zrobić więcej. Nie w sposób konkurencyjny, ale wiesz, czuję się zainspirowany!

Byłem w wielu miastach. Byłem w Indianie po studiach. Byłem w Szwecji, a potem jakiś czas w Niemczech. Dużo czasu w Turcji. Jeśli chodzi o społeczność artystyczną, nie mogę porównać, powiedzmy, Indiany do San Francisco, ponieważ jest tak inaczej. Tutaj zawsze są nowi ludzie. Dzieje się tutaj tak wiele rzeczy.

Czy w odniesieniu do twojej pracy był jakiś konkretny projekt, który zainspirował cię wcześnie?

Zawsze zajmowałem się muzyką od około siedmiu lat. Moim głównym instrumentem jest gitara. Gram też na syntezatorach. Myślę, że zaczęło się to, gdy byłem na zajęciach. Stworzyłem bardzo prosty kod dźwiękowy i chciałem pójść dalej. Spojrzałem na podstawowe badania, jest tam wiele rzeczy i zdałem sobie sprawę, że istnieje ta dziedzina, którą mogę studiować, badania w celu poprawy siebie.

W pierwszej części było to trochę przypadkowe. Na przykład przez cały czas otrzymujesz reklamy, e-maile od dostawców i to wszystko, zobacz nowego mówcę, cokolwiek. Pamiętam, dostałem e-maila z informacją, że nowy głośnik ma jakąś szczególną odpowiedź częstotliwościową i pomyślałem: „Ludzie tego nie słyszą!” Zainspirowało mnie to przetestować. Stworzyłem prosty kod do odtwarzania tego dźwięku i oczywiście nic nie słyszeliśmy z laptopa.

To był tylko wczesny eksperyment. Po prostu dobrze się bawiłem, a potem zdałem sobie sprawę, że tak naprawdę mogę tworzyć muzykę. Z czasem odkryłem całą gamę narzędzi wykorzystywanych przez ludzi do tworzenia kreatywnych technologii. To był dla mnie pierwszy krok.

Porozmawiajmy trochę o pracy, którą teraz wykonujesz. Czy mógłbyś opowiedzieć trochę o swoich bieżących projektach kreatywnych, co najbardziej Cię ekscytuje, a także co skłania Cię do ich tworzenia? Dlaczego je robisz, co chcesz przekazać przede wszystkim?

Cóż, moja praca idzie dwiema ścieżkami. Czasami w sztuce wizualnej jest coś, co chcę zbadać, lub interakcja użytkownika, która mnie ciekawi. Więc nie ma prawdziwego przesłania ani znaczenia, ale chcę tylko zobaczyć, gdzie skończyłem z bardziej estetycznej pozycji. Czasami, jak coś, co mnie niepokoi lub sprawia, że ​​myślę, robię coś na ten temat.

Teraz przechodzę do dalszej pracy z wizualizatorami muzycznymi, tworząc abstrakcyjne krajobrazy poprzez muzykę. Próbuję oderwać się od starych abstrakcyjnych kształtów i uzyskać bardziej realistyczne efekty wizualne. To zabawny projekt, w którym szukam efektów wizualnych, którymi mogę sterować dźwiękiem.

O co chodzi z krajobrazami, które Cię pociągają, dlaczego krajobrazy?

Cóż, powiedziałbym, że nie jest tak jak krajobraz jak w przyrodzie, ale krajobrazy na przykład w mieście. Na przykład, gdy siedzisz w kawiarni i obserwujesz ludzi przechodzących przez ulice. Mogę stworzyć coś takiego, co byłoby niemożliwe w prawdziwym życiu, z niektórymi ludźmi idącymi w górę, niektórzy idącymi w dół….

A potem mogę użyć przechwytywania ruchu, aby to stworzyć. Złamanie interesuje mnie tym, że tak naprawdę nie istnieją lub nie mogą istnieć.

Do tworzenia dzieł wykorzystujesz Unity i WebGL. Czy możesz powiedzieć coś więcej o mediach i narzędziach, których używasz do tworzenia swojej pracy? Co jest dla Ciebie najważniejsze?

Tak, to moje dwa główne narzędzia do grafiki. Lubię pracować w przestrzeni, a praca w przestrzeniach fizycznych jest interesująca, ale nie zawsze przystępna cenowo lub praktyczna. Właśnie dlatego lubię pracować w przestrzeniach wirtualnych lub łączę je, tak jakby były pewne aspekty fizyczne dotyczące aspektów wirtualnych. W takich przypadkach używam Unity lub WebGL.

Powodem, dla którego mogę wybrać jedno lub drugie, jest to, że potrzebuję czegoś konkretnego w jednym z nich. Głównie wybieram na podstawie środków dystrybucji. Jeśli będę musiał rozpowszechniać pracę online wśród ludzi, przejdę do WebGL, w przeglądarce, [lubię] korzystać z biblioteki three.js, abyś mógł po prostu udostępnić link, a inni mają do niego dostęp. Jeśli chodzi o wydarzenia, lubię używać Unity. Jest bardzo przyjemny i łatwy w użyciu z wieloma możliwościami. Trochę trudniej jest rozpowszechniać.

Inną rzeczą [do rozważenia] jest wierność. Dzięki mojemu zestawowi umiejętności mogę uzyskać lepszą jakość w Jedności, co czasem jest ważne. Dźwięk jest trochę interesujący. Uwielbiam Unity, ale jego możliwości tworzenia dźwięku są dość ograniczone. Przez większość czasu łączę inną rzecz, taką jak MAX / MSP, która jest jak narzędzie do występów na żywo, ale sprawia, że ​​cały produkt jest trudniejszy do wdrożenia lub wysłania do innych.

Kiedy pracuję w przestrzeni, lubię używać wielu dźwięków w tej przestrzeni, aby wtopić się z powrotem w eksponat, przechwytując dźwięki i przetwarzając je z powrotem. Czasami lubię też przedstawiać własne kompozycje grające na gitarze jako część tworzonych przeze mnie doświadczeń.

Twoim zdaniem, jakie emocjonalne treści artystyczne stają się obecnie możliwe dzięki technologiom rzeczywistości mieszanej? Pracujesz w VR z tymi wszystkimi nowymi narzędziami. Jest oczywiście powód, dla którego artyści chcą używać VR do komunikowania czegoś nowego, prawda?

Tak. W świecie fizycznym jest wiele rzeczy, których nie można osiągnąć z powodu podstawowych ograniczeń, takich jak przestrzeń kosmiczna lub zasoby, takie jak pieniądze itp. VR daje ci możliwość tworzenia rzeczy, takich jak niemożliwe scenariusze. To stawia cię w niemożliwym z punktu widzenia pierwszej osoby. Wszystko nagle staje się rzeczywiste, na przykład „Mogę tego dotknąć”.

Jedną z rzeczy, które ostatnio zrobiłem, był utwór VR i taniec. Freya Olafson i ja stworzyliśmy te tańczące awatary. Gdy stworzysz ich wystarczająco dużo, poczułeś się, jakbyś znalazł się w leśnej posadzce wysokich, robotycznie poruszających się awatarów. Stworzyło to poczucie wzniosłości. Nie możesz się tam dostać bardzo łatwo. Dotarcie do punktu, który jest niemożliwy, ale nagle odczuwasz, że „Jestem tutaj, to niemożliwe”.

Niektórzy ludzie używają VR do odtworzenia świata fizycznego, a wtedy staje się on zabawny, jak żart. Dla mnie interesujące jest wprowadzanie ludzi w te niemożliwe sytuacje, w których staje się to bardzo osobistą formą doświadczenia. Widzisz to na własne oczy. To naprawdę może do ciebie dotrzeć.

Zdjęcie z Motion Aftereffect autorstwa Freya Bjorg Olafson i Yagiz Mungan, 2017. Zdjęcie Robbie Sweeny. Praca ta została opracowana w ramach programu uruchomienia rezydencji artystów CounterPulse przy wsparciu National Endowment for the Arts, Zellerbach Family Foundation i Ken Hempel Fund for the Arts. Więcej informacji tutaj.

Artyści od bardzo dawna zajmują się wzniosłością na różne sposoby. Czy uważasz, że technologia rzeczywistości mieszanej jest szczególnie dobrym medium lub przestrzenią do komunikowania tego uczucia?

Tak myślę. Jest to medium na wszystko, ale fakt, że możesz umieścić ludzi w dowolnym miejscu, jest bardzo silny, ponieważ możesz umieścić ludzi w dowolnym miejscu, nie tylko w obrębie krajobrazu, ale także w stanie umysłu. Nie musi to być prawdziwa przestrzeń, na której mogliby stać. Może to być przestrzeń bez podłoża lub przestrzeń przejściowa. Mogą to być tylko światła i dźwięki. To może być brak miejsca. To dość silne.

Absolutnie. A może spojrzeć trochę w przyszłość? Czy są jakieś nowe technologie, którymi jesteś bardzo podekscytowany, które wciąż znajdują się w fazie sprawdzania koncepcji, ale Twoim zdaniem nie zostały jeszcze w pełni wykorzystane do tworzenia grafiki na wysokim poziomie?

Zawsze postępuje liniowy postęp, jaki mają nowe technologie. Nadal mamy do czynienia z kablami sieciowymi, a czasem kable stają się bardziej niepokojące niż kawałek! Ale jeśli chodzi o nowe technologie, ciekawie byłoby zobaczyć, dokąd zmierza AR. W tym momencie po prostu ociera się o poziom powierzchni, ale kiedy faktycznie się tam pojawia, trudno jest powiedzieć, czym jest rzeczywistość rozszerzona, a co fizyczne. To będzie interesujące i przerażające.

Widoki Illy, autor: Yagiz Mungan

Porozmawiajmy o nadchodzącym festiwalu CODAME ART + TECH. Czy możesz nam powiedzieć o pracy, którą będziesz pokazywać?

Będzie to wersja Illy, która jest systemem pół-inteligentnym. To rozwijający się projekt, który był realizowany od pewnego czasu.

Punktem wyjścia dla Illy było urządzenie: Amazon Alexa lub Google Home. Kiedy używasz jednego z nich, rozmawiasz z plastikową rzeczą, mówisz coś i oczekujesz rezultatu. A kiedy osiągniesz ten wynik, poczujesz się szczęśliwy i usatysfakcjonowany, ale kiedy powie: „Och, nie dostałem tego”, poczujesz się sfrustrowany. Kiedy gra niewłaściwą piosenkę, jesteś sfrustrowany.

Po przejściu tego procesu z moim akcentem martwiłem się, że mogłem być tak sfrustrowany plastikowym botem. Po namyśle nad tym pomyślałem o Illy, która jest sztuczną inteligencją, która nie rozumie angielskiego. Illy nie rozumie żadnego języka, nie rozumie mówienia, ale próbuje interpretować głosy, wysokość, głośność, główne cechy dźwięku i na tej podstawie próbuje odpowiedzieć. Tworzy komunikację, w której obie strony wiedzą, że nie będzie zrozumienia. To od Ciebie zależy, czy nadasz sens temu, co mówi.

Czyli komunikuje się, kiedy z nim rozmawiasz, ale nie w języku?

Dokładnie. Rozmowa jest bardziej jak monolog, ale od ciebie zależy, co powie. To jest główny pomysł. Będzie też projekt VR lub duży wyświetlacz. Możesz spojrzeć na Illy jako coś, co wydaje tylko surowy dźwięk, może być twoim najbardziej wyrozumiałym zwierzakiem lub możesz traktować to jak dziecko. Jak wiesz, rozmawiasz z dzieckiem. Wiesz, że dziecko cię nie rozumie. Chodzi o to, jak się czujesz.

Co chciałbyś, aby ludzie wiedzieli o Twojej pracy? Lub o czym chcielibyście, aby większość z nich myślała, kiedy zobaczą waszą pracę na festiwalu?

Chodzi o nasz związek z rzeczami, technologią, sztuczną inteligencją oraz o tym, jak środki komunikacji zmieniają naszą perspektywę i oczekiwania. Na przykład mówię coś teraz i możecie to zrozumieć, ponieważ używamy tych samych symboli, ale gdybym rozmawiał po turecku, byłby to po prostu hałas i zupełnie nieoceniony.

Lub weź pod uwagę relacje między ludźmi, na przykład kiedy idziesz do kawiarni i poprosisz o kawę. Przez większość czasu w naszym pośpiesznym życiu oczekujemy: „Ta osoba daje mi kawę”. Jeśli ta osoba próbuje z tobą porozmawiać, twoja reakcja brzmi: „Muszę iść, dlaczego marnujesz mój czas!” To drobiazg, ale bycie naprawdę świadomym tych interakcji, w przeciwieństwie do podświadomości, jest zupełnie inne.

Interesujące jest zastanawianie się, w jaki sposób dźwięk, jakość dźwięku i znaczenie języka często się splatają. Jak w twoim projekcie: przedstawiasz to w ten sposób, ale wiemy, że możemy powiedzieć coś złego bardzo słodkim głosem i na odwrót. Bardzo łatwo jest nam mieć te oczekiwania, które są następnie błędne, ponieważ po prostu stosujemy naszą własną perspektywę.

To konstrukcja kulturowa. Różne języki mają różne sposoby mówienia. Z niektórymi na przykład wypowiedzenie czegoś „uroczego” w jednym języku może brzmieć tak, jakbym mówił do ciebie. Wszystkie te znaczenia są stworzonymi przez ludzi rzeczami kulturowymi, na które musimy się zgodzić. Potrzebujesz prawidłowego dekodera, aby zrozumieć, a co jeśli go nie masz?

Połącz się i dowiedz się więcej o Yagiz Mungan w witrynie CODAME:

Jego prace można znaleźć na CODAME ART + TECH Festival [2018], czterodniowej konferencji z warsztatami, rozmowami i imprezami nocnymi @ The Midway, San Francisco, 4–7 czerwca 2018 r., O kryptonimie #ARTOBOTS:

CODAME ART + TECH Festival [2018] #ARTOBOTS

Irene Malatesta jest pisarką, strategiem kreatywnym i miłośnikiem sztuki cyfrowej w San Francisco. Znajdziesz ją na Twitterze i Instagramie @irenekaoru.