UMARŁE MIASTO – interaktywny VR i doświadczenie operowe

Umarłe Miasto (reż. Krzysztof Grudziński) to interaktywny VR i doświadczenie operowe, łączące elementy narracji filmowej, mechaniki gier i opery. Fabuła i libretto nawiązują do utworu o tym samym tytule, napisanego przez Ericha Wolfganga Korngolda w 1920 roku. W pierwowzorze sprzed stulecia, akcja toczyła się w Brugii. Współczesne Umarłe miasto to ogarnięta pandemią Warszawa. Pusta, przygnębiająca i nostalgiczna. Paweł, główny bohater, w żałobie po niedawno zmarłej żonie odwiedza miejsca istotne dla ich relacji. Zaglądamy do ich domu, odwiedzamy ulubione kino Iluzjon, idziemy na randkę w Pałacu Kultury.

Mijamy Palmę Rajkowskiej, symbol ich pierwszych wakacji, i przechodzimy na stację PKP Powiśle, na której się poznali. Z hotelu Intercontinental podziwiamy miejską panoramę, idziemy też na plac Zbawiciela. Ciemne głębiny Wisły przy Moście Świętokrzyskim, to miejsce ich rozstania. Paweł rozpływa się i przenika w morfującą, czarną przestrzeń. Słyszymy głos jego ukochanej Marii. Żegna go słowami: „Wszystko jest wspomnieniem, nic nie umiera, bo niczego nie ma. Bądź spokojny, bądź spokojna. Nic nie umiera, bo niczego nie ma a przecież wszystko jest”. W alternatywnej wersji, główną bohaterką jest Maria.

Użytkownika prowadzi narrator, który przypomina nasz głos wewnętrzny. W pewnym momencie użytkownik staje się bohaterem opery. W zależności od tego, którą postać wybierze na początku, jest Pawłem lub Marią. Użytkownik może się poruszać w obrębie scen – poziomów, za pomocą techniki płynnego ruchu (continuous movement). Podąża za narratorem, głosem wewnętrznym umieszczonym w jego głowie. Głos prowadzi użytkownika w konkretne miejsca, w których poprzez interakcje z określonymi obiektami, użytkownik uruchamia hologramy oraz fragmenty muzyki. W ten sposób odbiorca odkrywa fabułę.

Punktem wyjścia była pandemia. Reżyser Krzysztof Grudziński zadawał sobie pytania o to, co zostawiamy po sobie we współczesnym świecie. Oglądał videa pokazujące ludzi chorych na Covid–19, w których żegnali się z bliskimi, dzielili swoim strachem przed śmiercią. Żyjemy w zalewie informacji, w ogromnym tempie. Gonimy za lajkami i followersami na Facebooku, świat Internetu tworzy poczucie fałszywej bliskości. A jednak nagle, w kluczowych momentach, w obliczu archetypów, niezmiennych pojęć, takich jak „śmierć” czy „miłość” – zostajemy sami. Stąd pytanie o to, co po nas zostaje w tym „cyfrowym” świecie.

Świat przedstawiony to odtworzona w 3D Warszawa w czasach pandemii. Wybraliśmy dobrze znane, rozpoznawalne lokacje, takie jak kino Iluzjon, Pałac Kultury i Nauki, Muzeum Narodowe, Palma Joanny Rajkowskiej, Most Świętokrzyski, czy schodki nad Wisłą.

Warszawskie obiekty odtworzone w grafice 3D
Warszawskie obiekty odtworzone w grafice 3D
Warszawskie obiekty odtworzone w grafice 3D
Warszawskie obiekty odtworzone w grafice 3D

Somebody About You – doświadczenie ciała jako medium

Somebody About You (reż. Michał Stankiewicz) głos potrzebuje ciała widzów do swojego istnienia. Ucieleśnia w jego reakcjach, za każdym razem w innej postaci, w ciele innego widza. Do roli narratorki doświadczenia została zaproszona Aneta, która jest nieuleczalnie chora. Doświadczenie jest więc również projektem dokumentalnym, Aneta replikować się będzie w ciałach widzów. W ten sposób doświadczenie będzie przedłużeniem (extension) jej życia.  Z kolei widz doświadcza transferowania, ofiarowuje swoje ciało, staje się medium. Tak na styku wyobraźni i propozycji, między twórcą a widzem, biologii i technologii, na granicy dwóch światów: świat żywych a przedmiotów, żywych a umarłych, powstaje istota, hybryda człowiek-dzieło sztuki: humart.  

Somebody About You będzie się wywodzić  większym stopniu ze strategii sztuk performatywnych. Dlatego doświadczenie traktowane jest całościowo, nie ogranicza się do obrazu w headsecie, ale korzysta z sytuacji, w której widz się znajduje. Nie utylizuje rzeczywistości spoza okularów, ale włącza ją w materię obrazu. Tym samym doświadczenie staje się realną sytuacją, integralną częścią życia widza. 

Obraz nie ma na celu imitacji, ale traktowany jest jako narzędzie do wpływania na reakcje fizyczne widzów. Dobrym tego przykładem jest scena z graficzną kulą. Jej celem nie jest przedstawienie obrazu, a poruszanie ciałem widza, który będzie wodził za nią wzrokiem, a co za tym idzie głową, szyją i całym ciałem. Reżysera Michała Stankiewicza przede wszystkim interesuje w jaki sposób grafika może wpłynąć na mobilność ciał widzów, a tym samym wywoływać stany emocjonalne.  

Występujący w doświadczeniu głos narratora traktowany jest jako kadrowanie i ruch kamery, ale także jako możliwość nakładania niewidocznych dla oka warstw. To jak głos będzie mówił, kładł akcenty będzie również rezonowało w ciele widza. Dlatego do pracy z bohaterką zaproszono profesjonalną lektorkę pracującą z naturszczykami.

Widz jest dla reżysera zawsze partnerem, współtwórcą. Dlatego w swoich pracach proponuje widzowi obserwowanie samego siebie, skupienie się na swoich odczuciach. Somebody About You ta obserwacja impulsów płynących z ciała jest istotą doświadczenia, treścią transferu Anety. Ciało widza staję się medium, sercem transferu, zaś indywidualny odbiór widzów jest elementem losowym charakterystycznym sztuce generatywnej.

Materiały ukazujące działania zespołu projektowego podczas produkcji
Materiały ukazujące działania zespołu projektowego podczas produkcji
Materiały ukazujące działania zespołu projektowego podczas produkcji
Materiały ukazujące działania zespołu projektowego podczas produkcji

ZA KULISAMI: Nightsss/Noccc – produkcja/postprodukcja

Podczas etapu preprodukcyjnego zwycięzcy konkursu biorą udział w regularnych sesjach organizowanych przez Kierownictwo Pracowni VR/AR. W tym czasie artyści weryfikują swoje wizje oraz, na podstawie sugestii specjalistów w dziedzinie nowych mediów i sztuk audiowizualnych, doprecyzowują niezbędne, techniczne potrzeby. Kolejny etap – produkcja – to czas, w którym twórcy realizują swoje projekty. W przypadku Nightsss/Noccc działania produkcyjne odbywały się równolegle do prac postprodukcyjnych – końcowego etapu tworzenia dzieła audiowizualnego.

Działaniom realizacyjnym nad doświadczeniem Nightsss/Noccc towarzyszyły nieustanne próby. Reżyserki Weronika Lewandowska i Sandra Frydrysiak wykorzystały przestrzeń Państwowej Wyższej Szkoły Filmowej, Telewizyjnej i Teatralnej im. L. Schillera w Łodzi (hala telewizyjna), na potrzeby przetestowania kinectów rejestrujących postać i ruchy tancerki. Efekt, w postaci antropomorficznego awatara, osadzono w przygotowanych assetach (gotowych elementach wirtualnego świata przedstawionego) oraz wizualnym środowisku. Proces animacji następował wraz z poprawkami assetów i rozbudowywaniem przestrzeni wirtualnej.

W kolejnej fazie dodano interakcje oraz wprowadzono do środowiska wizualną reprezentację rąk imersanta. W trakcie tych działań testowano także także mechanizm interakcji dla dźwięku, a gdy świat przedstawiony nabrał wyraźnych struktur rozpoczęto prace nad udźwiękowieniem. Końcowa faza realizacji projektu obejmowała przygotowanie menu, napisów początkowych i końcowych.

Tworzenie środowiska wizualnego na potrzeby doświadczenia Nightsss/Noccc
Tworzenie tekstur na potrzeby doświadczenia Nightsss/Noccc
Tworzenie assetów na potrzeby doświadczenia Nightsss/Noccc
Osadzanie awatara w środowisku wizualnym doświadczenia Nightsss/Noccc
Twórcy doświadczenia Nightsss/Noccc wraz z Kierownictwem Pracowni VR/AR – Polą Borkiewicz i Jackiem Nagłowskim podczas postprodukcji

 

ZA KULISAMI: Nightsss/Noccc – preprodukcja

Aplikacja konkursowa Pracowni VR/AR oferuje przyszłym twórcom dwie możliwości realizacji doświadczenia – 3DoF (Degrees of Freedom) oraz 6DoF. Pierwsza z nich pozwala na poruszanie się wokół własnej osi, natomiast ta druga umożliwia wykonywanie określonych ruchów w przestrzeni. Dokonanie tego wyboru jest pierwszym krokiem ku właściwej strukturyzacji scenariusza.

Projekt Nightsss/Noccc to, według reżyserek (Weronika Lewandowska, Sandra Frydrysiak), interaktywny dialog pomiędzy imersantem a dziełem, w którym ten pierwszy eksploruje swoją wrażliwość równolegle do badania otoczenia. Twórczynie za fundamentalne uznały myślenie o imersancie jako „aktorze”, odgrywającego swoją „rolę”.

Co czuje zanurzona osoba w danym momencie, jakie ruchy może wykonać i jakie interakcje wybiera, a także jaki dialog wewnętrzny może prowadzić w reakcji na obiekty i wydarzenia przestrzenne – ten rodzaj dialogu wprowadzony został przez autorki i stał się istotnym punktem wyjścia dla rozwoju scenariusza oraz pracy nad wirtualną rzeczywistością. Innymi istotnymi elementami, wokół których stworzono scenariusz, były: ucieleśnienie imersanta w świecie wirtualnym – ręce, ich pozorna oraz faktyczna sprawczość , a także interakcja wizualna i dźwiękowa z otoczeniem, ruch i przeobrażenia postaci oraz jej relacja z wierszem.

Praca nad elementem ruchu zaczęła się również na etapie scenariusza, a próby i testy motion capture miały wpływ na jego ostateczny kształt. W tym czasie powstała rejestracja choreografii kamerą 360°. Okazała się być ona kluczową referencją wizualną w produkcji i postprodukcji, bo wiem zapis ten umożliwił kreatywne modyfikowanie choreografii w wirtualnej rzeczywistości.

Fragment moodboardu prototypowej wersji projektu Nightsss/Noccc
Fragment moodboardu prototypowej wersji projektu Nightsss/Noccc
Fragment moodboardu prototypowej wersji projektu Nightsss/Noccc
Fragment moodboardu prototypowej wersji projektu Nightsss/Noccc
Fragment moodboardu prototypowej wersji projektu Nightsss/Noccc
 

ZA KULISAMI: Deep Dive – postprodukcja

Postprodukcja doświadczeń VR, mimo swoich niewielkich różnić wobec finalnych działań nad klasycznym dziełem filmowym, jest o wiele bardziej wymagająca pod względem doboru właściwych narzędzi umożliwiających docelową obróbkę materiału. Produkcje tworzone techniką wirtualnej rzeczywistości wymuszają wdrożenie zaawansowanych metod, strukturyzujących poszczególne elementy w kompletny utwór.

W swoich ogólnych założeniach, post-produkcja zbliżona jest do klasycznej post-produkcji filmowej. Wielkość i ciężar plików, zarejestrowanych na kamerze Insta Titan, wymagały dużo większej przestrzeni dyskowe niż w przypadku produkcji kinowej o podobnym metrażu. Ze wszystkich operacji obejmujących ten etap działania, sam montaż przebiegł najszybciej. Nastąpiło niewiele zmian względem zaplanowanego przebiegu prac.

Wyzwaniem była rytmizacja poszczególnych ujęć – odpowiednia długość ujęć warunkowała właściwy odbiór dzieła. Złożoność świata przedstawionego miała duży wpływ na długość trwania procesu stichingu – specyficznego łączenia obrazu w doświadczeniu wirtualnej rzeczywistości. Wyważona kompozycja muzyczna miała na celu uwydatnienie walorów samej historii. Podczas postprodukcji dźwięku niezbędnym okazało się zastosowanie post–synchronów – część audialna doświadczenia wymagała oczyszczenia z miejskiego szumu.

Operator wraz Miłoszem Hermanowiczem – reżyserem – pierwotnie zakładali kolorystyczne odrealnienie obrazu podczas prac nad finalną edycją. Jednak konkretne sekwencje wprowadzały wystarczające poczucie fikcyjności i proces ten nie wymagał daleko idących zmian. Natomiast brak standaryzacji kolorów dla ekranów gogli VR–owych okazał się być bardz mocno odczuwalny. Ostatecznie obraz został skalibrowany obraz pod gogle Oculus Quest 1.

ZA KULISAMI: Deep Dive – produkcja

Produkcja doświadczenia zrealizowanego za pomocą techniki wirtualnej rzeczywistości funkcjonuje na zasadach etapów produkcyjnych, właściwych dla realizacji klasycznego dzieła filmowego. Jednak właściwości VR–u wymuszają na twórcach zastosowanie niebanalnych rozwiązań artystycznych.

Trzy dni spędzone w błocie i krzakach na brzegu Wisły nabrały smaku przygody. Dzięki swojemu zaangażowaniu i pasji, zespół uskutecznił założony plan. Produkcję w pełni zrealizowano na otwartym terenie, zatem kluczowe były odpowiednie warunki pogodowe, by poszczególne sekwencje mogły zostać zarejestrowane przy pomocy naturalnego oświetlenia. Praca w takim trybie była ogromnym wyzwaniem, szczególnie przy tego rodzaju doświadczeniu, w którym atmosfera lokacji odgrywa tak dużą rolę.

Warunki czasowo-budżetowe zmusiły ekipę do rezygnacji z dwóch z trzech zaplanowanych ujęć w ruchu. Z tego samego powodu w ostatnim dniu zdjęć, reżyser Miłosz Hermanowicz został zmuszony do szybkiej zmiany inscenizacji jednej sceny, co miało duży wpływ na przetestowanie wszystkich możliwości narracyjnych.

Fizyczność planu (błoto, krzaki, brak możliwości użycia pojazdów), trudności w wykorzystaniu zasilania energetycznego (ograniczone do baterii i powerbanków), niepewne warunki pogodowe, przyczyniły się do wygenerowania odpowiedniego świata przedstawionego, stwarzającego świetne predyspozycje dla doświadczenia immersji. Produkcja była okresem najbardziej intensywnym, ale i najkrótszym całej realizacji.

Zespół Deep Dive w komplecie
Helena Gandjalyan (Magda) podczas nagrań
Doświadczenie Deep Dive zostało w pełni nagrane za pomocą kamery Insta 360 Titan
Yann Ciennik podczas nagrywania dźwięku na planie
Reżyser Miłosz Hermanowicz wraz z autorem zdjęć Yannem Sewerynem. W tle aktorki Magdalena Kuta (matka Magdy) i Helena Gandjalyan (Magda) wraz z drugim reżyserem Arturem Marchlewskim
Magdalena Kuta (matka Magdy) podczas nagrań
Twórcy projektu poświęcili ogromną ilość czasu na dostosowanie się do warunków plenerowych
Miłosz Hermanowicz i Helena Gandjalyan w trakcie konsultacji

ZA KULISAMI: Deep Dive – preprodukcja

Pracownia VR/AR to innowacyjna inicjatywa, która w ramach programu Laboratorium Narracji Wizualnych umożliwia artystom przekraczanie granic w sferze języka audiowizualnego, by tym samym przyczynić się do stworzenia oryginalnych jakości w dziedzinie nowych mediów. Deep Dive to eksperymentalne doświadczenie na przełomie kina fikcji oraz immersyjnych rozwiązań właściwych dla wirtualnej rzeczywistości.

Założeniem projektu było stworzenie dzieła, które łączy w sobie narrację wywodzącą się z kina fabularnego z wyjątkową cechą wirtualnej rzeczywistości – iluzji zaistnienia wewnątrz świata fabuły. Reżyser Miłosz Hermanowicz zdecydował się na zweryfikowanie własnych koncepcji narracji fabularnej wobec doświadczenia VR. Wraz ze scenarzystą Marcinem Grembowiczem stworzyli historię, która zakładała obecność przyszłego odbiorcy u boku bohaterek. Z tego powodu, fizyczne otoczenie i konkretne lokacje zyskały kolosalną wagę. Reżyser razem z drugim reżyserem, Arturem Marchlewskim, spędzili dużą ilość czasu nad dokumentacją tzw. dzikiej strony Wisły w Warszawie w poszukiwaniu najlepszych przestrzeni do zdjęć.

Równolegle do działań koncepcyjnych, przy pomocy producentki Joanny Banach, zorganizowano casting, w którym wyłoniono dwie aktorki – Helenę Gandjalyan oraz Magdalenę Kutę – wcielające się w rolę głównych bohaterek. Przy współpracy z Yannem Sewerynem został stworzony także moodbook doświadczenia. Następnie reżyser i choreografka Eliza Rudzińska czynili postępy nad koncepcją inscenizacji kamery – pozycji przyszłego odbiorcy. Miłosz Hermanowicz – pomysłodawca projektu – stworzył ideę opisania tych założeń w celu komunikacji z zespołem produkcyjnym pod formą dokumentu nazwanym listą Obecności.

Postępy nad tymi elementami (scenariusz, lokacje, moodbook, lista Obecności, aktorki) były omawiane i doprecyzowane na kolejnych zjazdach organizowanych przez Pracownię VR/AR.

Joanna Banach przystąpiła do organizacji 3 dniowego planu zdjęciowego. Zatrudniła między innymi charakteryzatorkę i kostiumografkę, z którymi został dopracowany wygląd postaci. Największym wyzwaniem dla całego zespołu było odpowiednie zorganizowanie transportu z jednej lokacji do drugiej, bowiem realizacja poszczególnych sekwencji wymagała nieustannego zasilania energetycznego.

Aby zamysł reżysera mógł zostać w pełni zrealizowany, należało ze stworzonej koncepcji wypreparować jakości odmienne od tych charakterystycznych dla kina czy teatru.