Het technische brein achter de robotkunst van Jordan Wolfson

Kunst kijken is leuker en makkelijker dan je denkt. Tijdens de Nationale Museumweek is er op Creators extra veel aandacht voor kunst die je – je raadt het al – in het museum kan bekijken. Er zijn werkelijk o-ver-al musea waar veel leuks te beleven is. Je hebt echt geen reden meer om je reet niet linea recta naar het museum te bewegen.

In de afgelopen maanden werd er in het Stedelijk Museum in Amsterdam een robot gemarteld. Aan het lijden van deze arme jongen, Colored Sculpture van de Amerikaanse kunstenaar Jordan Wolfson, is voorlopig een einde gekomen. Sinds afgelopen weekend is hij namelijk vervangen door een blonde stripper die net uit haar graf lijkt te zijn opgestaan. Female Figure staat verleidelijk voor een spiegel te dansen op nummers als Applause van Lady Gaga, terwijl ze de bezoekers recht in de ogen aankijkt. Dan hoor je opeens een mannenstem, die van Wolfson zelf. “My mother is dead. My father is dead. I’m gay. I’d like to be a poet. This is my house.”

Videos by VICE

Dat klinkt al best onheilspellend. Maar dat wordt het pas echt als je haar gezicht wat beter hebt gezien:

Ik moet de robots van Wolfson eigenlijk ‘animatronics’ noemen, mechanische poppen die de bewegingen van een mens natuurgetrouw nadoen. En dat is inclusief het zoeken naar oogcontact, al lijken ze niet helemaal te begrijpen dat aanstaren een tikkie onbeleefd is. Dat is ook vooral wat de animatronics interessant maakt: het ene moment ben je een anonieme toeschouwer, maar zodra je je binnen het blikveld van de animatronic waagt, maak je ineens zelf deel uit van het werk. Totdat de animatronic weer wordt afgeleid door de ogen van een andere bezoeker.

“Wat leuk is aan Jordan, is dat het hem eigenlijk niet zoveel kan schelen wat er allemaal mogelijk is.”

En dan hebben we het nog niet eens gehad over de lichamen zelf – Wolfson vindt het fascinerend dat we niet alleen door mensen, maar ook door representaties van mensen geprikkeld kunnen worden, zei hij in ons eerdere interview. Dus in het geval van Female Figure: hoe we zowel door haar kunnen worden aangetrokken als afgestoten.

Er komen nogal wat technologische hoogstandjes bij kijken om dit effect teweeg te brengen, waaronder de gezichtsherkenning. Voor het ontwerpen van deze animatronics werkt Wolfson samen met de robotbouwer Mark Setrakian, die verder vooral actief is in de filmwereld – hij was onder andere betrokken bij Men in Black (1997) en Pacific Rim (2013). Ik sprak met hem over de technologische uitdagingen van deze animatronics, wat je moet doen om ze draaiende te houden en wat zijn eigen rol is in het creatieve proces.

Creators: Hoi Mark, wat is precies jouw rol bij deze animatronics geweest?
Mark Setrakian: Bij Female Figure heb ik het hele mechanisme ontworpen, de software geschreven en samen met Jordan de choreografie van haar dansbewegingen bepaald. Aan Colored Sculpture werkten meer mensen mee – er waren verschillende teams die zich bijvoorbeeld richtten op specifiek de kettingen en frames, of juist het lichaam. Zelf heb ik me vooral gefocust op het systeem achter de ogen, dus de gezichtsherkenning en de graphics in de LCD-schermpjes.

Colored Sculpture wordt flink heen en weer geslingerd en op de grond gekwakt. Hoe heb je ervoor gezorgd dat het systeem niet meteen kapot gaat wanneer de jongen een smak maakt?
Er zit een omhulsel van aluminium omheen, dat de schokken opvangt als een soort armor case. Dat is met wat speling aangebracht binnen het hoofd, want het is belangrijk dat er wat flexibiliteit in zit.

Moet hij vaak gerepareerd worden?
De ogen zijn inmiddels tientallen keren vervangen, die gaan na een tijd gewoon kapot. Het hoofd gaat veel langer mee, dus we hebben pas een paar hoofden gebruikt. Bij het hoofd gaat het vooral om de slijtage. De verf is heel diep aangebracht om dat zoveel mogelijk uit te stellen, maar na een tijd moet zo’n hoofd toch echt vervangen worden.

Bij Female Figure was je meer betrokken bij het geheel, in plaats van alleen bij een specifiek onderdeel. Wat waren in dit geval de grootste uitdagingen?
Aan de ene kant was het de kunst om haar zo soepel mogelijk te laten dansen. Daarvoor moeten de motortjes goed in haar lichaam worden aangebracht, en moet de software precies op maat zijn. Aan dat laatste heb ik vijf maanden gewerkt. Daarnaast moet de interactie zo optimaal mogelijk zijn, wat lastig kan zijn als er te veel mensen om haar heen staan – vandaar dat we hebben besloten om maximaal vier mensen tegelijk in de kamer toe te laten. We wilden niet dat ze te snel van oogcontact wisselt, want het is leuker als ze je volgt als je ergens anders gaat staan.

Wat moet er gebeuren om Female Figure goed te onderhouden?
Het onderhoud is een beetje zoals bij een auto: als een beweging wat minder vlot is of er een geluidje uitkomt, dan is het slim om even te kijken wat er loos is. Daarom is het ook de bedoeling dat er altijd iemand een oogje in het zeil houdt. Het is sowieso noodzakelijk dat haar kapsel na elke performance even gekamd wordt, wat neerkomt op zo’n drie à vier keer per uur. Ze danst best wild, dus het gaat elke keer weer in de war. En je weet maar nooit of er een haartje in een tandwiel terecht is gekomen.

Uitgerekend haar schouders liggen open – je kunt de tandwieltjes zo zien zitten. Is dat niet wat onhandig, zo vlak onder haar blonde lokken?
In de praktijk komen er weinig haartjes in terecht, dus zo’n groot probleem is het ook weer niet. Het idee van zo’n onbedekte schouder is trouwens dat het je eraan herinnert dat het een machine is. Dat vormt een contrast met haar menselijke trekjes.

In De Wereld Draait Door werd gezegd dat er ook allemaal mensen met laptops bij zitten die de boel coördineren. Wat doen ze dan precies?
De ruimte is wit, dus de blik van Female Figure wordt eerder getrokken door iemand met donkere kleding dan met lichte. Als dat zo is, moet het licht wat worden bijgesteld. Maar verder valt het qua coördinatie best mee – ik denk dat ze bij dat programma eigenlijk gewoon de technici zagen die ik momenteel aan het leren ben hoe ze de animatronic moeten onderhouden.

Wat leer je hen dan zoal?
Dat gaat om vrij specifieke kennis. Ze moeten de machine goed leren kennen, en uit elkaar kunnen halen wanneer dat nodig is. Zo’n moment komt er ongetwijfeld. Het vraagt ontzettend veel van een handgemaakte robot om maanden lang elke dag zoveel te bewegen.

Hoe is het om samen te werken met Jordan Wolfson?
Het is voor mij een beetje alsof ik met een filmregisseur samenwerk – voor bepaalde keuzes heeft hij mij nodig, maar hij weet over het algemeen precies wat wil. Toen ik voor het eerst met hem ging zitten voor Female Figure, wist hij al ongeveer hoe ze eruit moest zien, dat ze zo’n masker zou dragen en zou dansen. Maar niet hoe die dans er precies uit zou zien.

Jij weet in principe beter wat technisch haalbaar is dan hij. Hoe communiceren jullie daarover?
Wat leuk is aan Jordan, is dat het hem eigenlijk niet zoveel kan schelen wat er allemaal mogelijk is. Hij bedenkt eerst wat wil, dan ziet hij pas of het daadwerkelijk kan. En als het lastig wordt, proberen we het gewoon alsnog – ik doe zelf ook graag onmogelijke dingen.

Welke grenzen hebben jullie dan nu bijvoorbeeld verlegd?
Bij Female Figure hebben gaat het vooral om de manier waarop ze reageert op het publiek. De technologieën voor gezichtsherkenning zijn nog lang niet perfect, dus we zitten nog altijd kleine aanpassingen te doen om te testen wat het nog beter maakt. Ze vindt het bijvoorbeeld nog relatief lastig om mensen met grote baarden of een zonnebril te herkennen, en wanneer je dichtbij staat, is het leuk als ze je eerst in het ene oog aankijkt en dan in het andere. Ook daar valt nog genoeg winst te behalen.