Techniek voor dromers


De toegang tot een andere werkelijkheid


You must let the machine into your heart
quote van Rudy Rucker
Virtual Reality wordt gezien als de grote doorbraak in het interactieve computergebruik; we laten de computer meer doen dan wat met cijfers of letters stoeien, er wordt een hele interactieve omgeving tot `leven' gebracht. De stap van rekenmachine naar reality machine is gemaakt, de kunstmatige digitale werkelijkheid is binnen bereik. In dit hoofdstuk gaan we in op een aantal aspecten van de techniek en geven wat theoretische kaders, die verderop in dit boek worden uitgewerkt.

De realiteit gevangen

Voor sommige mensen is het heel gemakkelijk om zich - met gesloten ogen - voor te stellen dat ze in een bepaalde omgeving zijn. Ze kunnen dan voorwerpen zien en rondwaren in een al bekende of juist een fantasie-wereld. Anderen hebben grote moeite met die zogenaamde visualisatie en zien niet veel meer dan wat vage patronen, ze kunnen geen `andere werkelijkheid' projecteren op de binnenkant van hun netvlies, maar weten dat ze af en toe wel dromen en dan toch dingen zien en beleven. Kunstenaars van alle tijden hebben ons iets laten zien van hun droomwereld, via boeken, gedichten, schilderijen en kunst in het algemeen. Wie een roman leest wordt ook verplaatst in een andere werkelijkheid of krijgt in ieder geval de elementen aangereikt om voor zichzelf de fantasie van de schrijver te herscheppen. De droom van de schrijver wordt herschapen in de geest van de lezer.
Wat dat betreft is VR dus niets nieuws, ook daar wordt de droom van de programmeur op een of andere manier weer tot leven gebracht. Het gaat alleen een stuk verder dan wat we tot nu kenden, verder dan een boek of zelfs een film. De VR-gebruiker krijgt veel input, hij (of zij) wordt min of meer overdonderd met beeld en geluid. Hij kan niet even wegkijken van het boek of beeldscherm, er is niets anders te zien en te horen dan wat de computer genereert. Wat dat betreft is het de ideale aanpak voor luie mensen die de dromen van anderen wel eens willen beleven, ze krijgen zoveel zintuigelijke data Štoegevoerd dat ze er zelf bijna niets hoeven bij de denken. Het is een techniek voor dromers en dat is een enigszins dubbelzinnige opmerking. Want zijn het de dromers die VR-ervaringen gaan maken, of zijn het de dromers die er op tippelen? Gaat het om het vangen van de realiteit of zouden we ons beter kunnen richten op dat deel van de realiteit dat echt verschil maakt? We komen op deze vraag terug.
Wat heb je, als je kijkt naar de praktische kant van de dingen, nu eigenlijk nodig om een wereld om je heen te ervaren? Je wilt wat zien, wat horen en dat moet zich ook nog aanpassen aan je bewegingen en hoe je bijvoorbeeld je hoofd draait. Dat is de eerste stap, en ongeveer het niveau waarop de huidige VR-techniek zich richt. Natuurlijk is er meer, je wilt voelen, ruiken en eventueel proeven en op een goede dag zal ook dat wel deel gaan uitmaken van de VR experience. Voorlopig is het visuele aspect het belangrijkst.
Met de huidige stand van de techniek wordt dat bereikt door relatief hoogwaardige beeldjes (scherp en qua beweging vloeiend) te genereren met de computer, liefst zo dat je de ruimtelijke effecten kunt zien. Dat kan met behulp van twee beeldschermen vlak bij je ogen of door gebruik te maken van de diverse stereobeeldtechnieken die er zijn. Erg belangrijk is daarbij dat het gegenereerde beeld reageert op de hoofdbewegingen en eventueel op wat je via een hand of op een andere manier doorgeeft aan het systeem. Anders is het niet veel meer dan stereofilm en dat is er al tientallen jaren.

De basis van Virtual Reality

Hoe kunnen we de computer-gegenereerde omgeving, de kunstmatige digitale werkelijkheid nu plaatsen? Hebben we hier te maken met iets helemaal nieuws, een soort revolutie die niet te voorzien viel, of was het te verwachten dat we hier zouden uitkomen.
Natuurlijk is VR een nog vrij nieuw begrip, maar je kunt het ook zien als een combinatie en doorgroei van een aantal bestaande technieken. Het feit dat verschillende SF-schrijvers al technieken hebben beschreven, die min of meer op VR leken, geeft wel aan dat het toch wel een soort logische ontwikkeling was. Daarbij moeten we een onderscheid maken tussen de verbetering qua beeldvorming (3D en high-resolution) en de toegenomen onderdompeling (immersion) aan de ene kant en het principe van de directe interactie (feedback) dat we eigenlijk als de echte verbetering van VR kunnen zien. Wil je echt het gevoel krijgen dat je ergens bent, dan moet de omgeving ook reageren op een `natuurlijke' manier. Het is natuurlijk leuk dat je zomaar door muren en gebouwen van een VR-omgeving kunt heenvliegen of -stappen, erg realistisch is het niet. Die `feedback' is overigens een van de moeilijkste zaken in de hele techniek, omdat het een combinatie is van alle zintuigen.
De vier karakteristieke elementen van VR zijn dus: Dat laatste begrip heeft met de diepgang van de onderdompeling en dus met de kwaliteit van beeld, geluid en systeemrespons te maken. De interactie tussen gebruiker en systeem is soms beperkt tot een enkel zintuig, zoals het kijken naar een schilderij. Bij televisie hebben we te maken met twee zintuigen (zien en horen), bij VR gaan we nog een stapje verder teneinde de interactie en de realistische beleving te verbeteren. De gebruiker wordt op een aantal fronten benaderd en kan op verschillende manieren met het systeem omgaan, dat heet formeel `multi-modale' of `multi-sense' interaction. We Šonderscheiden:
  • Het visuele: Dit draait om het kijken, maar nog meer om het zien. Uit de overvloed aan bits filteren we tenslotte het grootste deel weg, maar hoe bepaal je wat cruciale informatie is en wat nodeloze visuele overvloed.
  • Het auditieve: Horen is voor een aantal activiteiten dringender dan zien, bijvoorbeeld bij alarmsignalen, maar kan ook helpen voor de ruimtelijke positionering.
  • Het tactiele: We willen voelen dat we iets aanraken en het verschil tussen de ene oppervlakte en de andere kunnen onderscheiden, rots voelt anders dan textiel. Het voelen en vooral de terugkoppeling bij het aanraken van voorwerpen en oppervlaktes maakt het nog `echter'.
  • Het bewegingszintuig: Via ons evenwichtsgevoel, de krachten op onze botten en door het trillen, draaien etc. weten we of we bewegen.
    Het belang van horen, zien en voelen samen is natuurlijk duidelijk, zeker bij het hele feedback-mechanisme, maar welke daarvan nu het belangrijkste is kan per situatie verschillen en hangt ook af van de persoon. Bij een tripje in een donkere ruimte worden horen en voelen relatief belangrijker. In het algemeen hebben mensen wel ‚‚n zintuig, dat voor hen relatief het belangrijkste is. Zo zijn er visueel ingestelde mensen, anderen reageren primair op geluiden en er zijn ook `kinestetisch' of `haptisch' ingestelde mensen, die vooral dingen willen voelen en aanraken. Voor sommigen is de kleur en styling van een auto doorslaggevend, anderen tippelen op het motorgeluid en er zijn ook mensen, die de bekleding, de atmosfeer van het interieur en de `zit' doorslaggevend vinden. Je kunt dus niet stellen, dat de visuele informatie het belangrijkste is voor VR, dat kan van de persoon en de situatie afhangen. Dat de nadruk voorlopig ligt op het visuele is duidelijk. Dat is waarom ik dan ook het woord Visual Reality beter vind. Of dat zo blijft is een kwestie van beschikbare techniek en de richting van de ontwikkeling.

    Interactie

    De mate van controle over de virtuele omgeving en daarmee de autonomie van de cybernaut hangt af van de commando's die hij kan geven en de reacties daarop. De commando's zijn in VR meestal geen getypte computer-commando's, maar de signalen over positie, het draaien van het hoofd, de beweging van de handschoen of joystick.
    Commando's kunnen ook via bijvoorbeeld spraakinput gegeven worden, maar gaan meestal via handbewegingen met een speciale datahandschoen, joystick, muis of toetsenbord en door menu's of iconen in de VR-omgeving. Commando's kunnen betrekking hebben op: Er is steeds een passieve en actieve manier; dat is ook wel nodig voor de terugkoppeling. Dat we de verschillende manieren om commando's te geven en hun effect te ervaren moeten en kunnen combineren ligt voor de hand. Met name bij complexe structuren is bijvoorbeeld zien niet voldoende, maar `zien' we soms makkelijker met onze handen. Commando's kunnen we geven met een toetsaanslag, een handbeweging, maar ook door ergens naar te kijken of door iets Šte zeggen.
    Alles draait om de ervaring, wanneer we met minimale middelen toch de bezoeker/gebruiker een intense ervaring kunnen meegeven, doet het er niet toe hoeveel polygonen/mips/pixels daarvoor gebruikt zijn. Juist in nieuwe en ongewone combinaties van visuele, auditieve, tactiele en biomechanische ervaringen ligt de belofte van dit nieuwe medium.

    Niveaus van VR

    In de artikelen over VR wordt meestal verwezen naar de VR-variant met een helm en handschoen/DataGlove, maar er zijn een aantal niveaus van Virtual Reality. Vanaf de `Vissekom'-VR waarbij je niet veel meer ziet dan een televisie-achtig beeld, of de meer actieve `walkthrough' op een computerscherm via 3D (driedimensionale) beelden met een rood/groen of polarisatiebril, tot complete immersion-systemen met multisense-interfaces. En laten we vooral de simulatiesystemen voor meerdere gebruikers niet vergeten. Dat je een en ander niet al te letterlijk hoeft te nemen, bewijst het voorbeeld van de Wheelchair-VR van Hines R&D, waarbij de walkthrough gebeurt vanuit een rolstoel met de bedoeling gebouwen te ervaren vanuit de visie van een gehandicapte.

    Through the Window (TTW)

    Wanneer je naar een virtuele wereld kijkt op een scherm, waar je doorheen kijkt naar de scene, dan noemt men dat wel TTW, je kijkt als het ware door een raam naar binnen. Zit men in een helm, dan noemt men dat `immersion'. Men spreekt wel over derdepersoon- en eerstepersoon-simulaties. De derdepersoon-simulatie is wanneer men een of ander poppetje of figuurtje ziet, dat `acteert' in de computeromgeving. Wanneer men zichzelf speelt en dat ook als zodanig voelt, dan is er sprake van eerstepersoon-VR.

    Passief of actief

    Een duidelijk onderscheid in het gebruik van VR is dat tussen de passieve VR, de half-actieve VR, de interactieve en de actieve of creatieve VR.
  • De passieve VR is wat we kunnen beleven bij een demonstratie van een VR `trip' op een beeldscherm, wanneer iemand anders de trip maakt en we als het ware over de schouder meekijken. Dat komt min of meer neer op een soort film, maar met een stereobril of stereobeeldscherm zouden we dit ook 3D kunnen meemaken. Dit lijkt een flauw aftreksel van de VR die we verder in dit boek beschrijven, maar net als met voorbespeelde videobanden zou het wel eens een commercieel haalbare vorm kunnen worden.
  • De half-actieve VR of `exploratory-VR' is wanneer we deelnemer of bewoner zijn in een ruimte, die door een ander is bedacht en geprogrammeerd, de `normale' VR van dit moment. Daar kan men vrij in rondwandelen, maar alle objecten en mogelijkheden liggen vooraf vast.
  • De interactieve VR is wanneer we zelf ook met de omgeving kunnen communiceren, dingen kunnen verplaatsen. Nog verder gaat het wanneer we ook die interacties zelf kunnen programmeren of daar tenminste in kunnen kiezen. In alle actieve vormen van VR zouden we die samen kunnen delen met andere bewoners, maar dan moeten er wel regels worden opgesteld. Een virtuele moord is wel niet echt, maar bij voldoende tactiele (gevoelszintuigen) feedback kan het toch naar aankomen.
  • Creatieve VR is wanneer de gebruiker zelf werelden en scripts kan gaan maken of aanpassen uit bestaand materiaal. Wanneer men eigen vondsten en persoonlijke details kan gaan verwerken, dan pas wordt VR echt een medium om een nieuwe werkelijkheid te gaan maken.
    Voorlopig is dat gezien de kosten en benodigde deskundigheid niet eenvoudig te realiseren.

    Intelligente virtuele werelden

    Je kunt een virtuele omgeving statisch maken, waarbij er behalve de bezoeker niets beweegt, hij loopt alleen maar rond en het perspectief verandert, dat maakt snel een `dode' indruk. Maar om ook objecten in de virtuele wereld te laten bewegen vraagt om Šandere structuren en daarom is het goed een onderscheid te maken tussen:
  • Dode werelden, waarin naast de bezoeker niets beweegt of verandert, zoals bij CAD-walkthroughs.
  • Werelden met bewegingen, waarbij voorwerpen reageren volgens bepaalde wetten, zoals de zwaartekracht of voor die wereld geldende fysische wetten.
  • Werelden met min of meer autonome objecten, die reageren op situaties, ook wanneer die niet direct worden be‹nvloed door de cybernaut. Het gedrag van objecten kan zodanig geprogrammeerd worden, dat het lijkt alsof dingen min of meer automatisch gebeuren.
  • Intelligente virtuele werelden, die reageren op gebeurtenissen en commando's, waarbij de objecten een soort artificial intelligence hebben. Dat niveau is er nog niet, maar er wordt aan gewerkt.

    Cyberspace en telecommunicatie: Internet

    Het platform van de VR, de denkbeeldige ruimte waar het zich afspeelt, wordt wel Cyberspace genoemd. Om alvast een beeld van `Cyberspace' in de praktische hedendaagse implementatie te krijgen (Bruce Sterling schrijft er in zijn bijdrage ook over), kunnen we kijken naar de telefoonverbinding. Wanneer we iemand aan de lijn hebben, vindt de echte communicatie, bij bijvoorbeeld een satellietverbinding, in feite ergens in de ruimte plaats. Het gebeurt niet echt bij het ene toestel, niet echt bij het andere, de boodschappen ontmoeten elkaar ergens, in een ruimte, die we wel kunnen aanvoelen, maar niet echt aanwijzen en die dan ook `virtueel' genoemd kan worden. Denk maar aan een computer, waar we de term virtueel geheugen gebruiken wanneer we net doen alsof er een groot direct geheugen is, maar dat in feite nadoen door snel van en naar de harde schijf stukken geheugeninhoud te `swappen'.
    Tijdens zo'n telefoongesprek vindt de communicatie ook niet plaats bij een van de twee deelnemers, maar het lijkt alsof ergens tussen die twee een nieuwe ruimte is ontstaan, we communiceren in wat wel `Cyberspace', zoals John Barlow dat ziet, genoemd wordt. Dat begrip kan ook veel futuristischer worden ingevuld en dan praten we over `full-bandwidth interactie' maar dan verliezen we de aansluiting bij wat nu mogelijk is. Op dit moment wordt de Cyberspace nog voornamelijk gevuld met zogenaamde e-mail of elektronische post.
    Via snelgroeiende netwerken als Internet communiceren al tientallen miljoenen mensen met elkaar, vaak over de grenzen en taalbarri‰res heen. Het Engels is wat dat betreft duidelijk de taal van de Cybernauten. De snelle groei van Internet, eigenlijk een soort niet-commerci‰le wildgroei van een communicatiesysteem tussen universiteiten, is verrassend. Het is nog beperkt, je kunt alleen maar tekst en primitieve plaatjes oversturen, maar het succes ervan doet vermoeden dat de impact van `bredere' communicatie met geluid, spraak en beelden ook wel eens een rage kan worden.
    Dan kom je op het terrein van de beeldtelefonie en videofoons, waarvoor met de beschikbaarheid van ATM- en ISDN-netwerken ook een betere infrastructuur komt, de befaamde Digital Highway. Je kunt verder gaan en niet alleen beeld maar ook andere elementen delen en dan samen iets beleven.

    Netwerk-VR

    Het is een van de fascinerendste mogelijkheden van VR om met anderen te communiceren in zo'n imaginaire VR-wereld. Daarvoor hoeft men niet pers‚ ter plaatse te zijn, men kan vanaf een andere lokatie deelnemen en acteren in dezelfde VR-omgeving. Dit gaat veel verder dan videotelefonie, men kan elkaar niet alleen zien en aanraken, maar de deelnemers kunnen ook een ander uiterlijk kiezen, zoals in de film `Lawnmower Man' werd gedemonstreerd.
    Netwerk-VR is volgens velen waar het uiteindelijk om draait, met name voor militaire training is dat nu al vrij praktisch en worden in de VS infanteristen en cavaleristen (tanks) hiermee geoefend.
    Met snellere telecommunicatie en lokale netwerken en goede technieken om de bewegingen en lokaties over te dragen kan netwerk-VR veel toepassingen vinden, denk maar eens aan VR-sex (Cybersex). Net zoals het `chatten' in de e-mail cultuur een van de Šgrote trekpleisters is, kan de heel persoonlijke en met een technisch begrip `breedbandige' interactie van netwerk-VR uiteindelijk de doorbraak naar VR als een massamedium bewerkstelligen. Dit is een van de meest interesante richtingen van de hele techniek.

    Platform Based VR

    Omdat de helmen en handschoenen voor gebruik in bijvoorbeeld een attractiepark niet erg praktisch zijn, heeft men daarvoor andere technieken ontwikkeld. Men gebruikt dan cabines of platforms, waar meerdere bezoekers in kunnen zitten, voorziet die van beeldschermen en zet de hele zaak op hydraulische cylinders. De meeste scenario's voor zo'n `location based' VR-trip gaan over ruimteschepen, onderzeeers en dergelijke. De bezoekers gaan op een korte tocht, waarbij ze op de schermen beelden zien alsof ze werkelijk in de ruimte of onderzee zijn, het hele geval schudt en trilt en er zijn ook beperkte `controls' om bijvoorbeeld te kunnen schieten, zodat men zich echt betrokken voelt bij de missie. Deze vorm van VR wordt snel populair voor Disneyland-achtige `rides' en is ook commercieel interessant.

    Reizen in VR

    We kunnen met de VR-technieken de computer gebruiken om `nieuwe' werelden voor onze ogen te toveren en ons in ieder geval de illusie te geven dat we daar ook echt kunnen rondkijken, bewegen en `acteren'. Wat die nieuwe werelden inhouden is aan de ontwerper, maar laten we beginnen met wat `aardse' voorbeelden.
    Een goed voorbeeld van `Virtual Reality' is het rondreizen in bijvoorbeeld vreemde landen. Via de speciale helm met een stereovideodisplay (twee schermpjes, ‚‚n voor ieder oog) met een ruimtelijk effect (stereobril) kan men gaan rondwandelen of tenminste rondkijken in een 3D-projectie, bijvoorbeeld van een exotisch land. Zonder uit de stoel te komen kan men daar, al naar gelang het programma het toelaat, interactief in bewegen. Via een speciale sensor worden de hoofdbewegingen van de stereobril namelijk vertaald in draaibewegingen in die wereld en kan men verder via een joystick de richting van de beweging aangeven. Het verplaatsen gaat moeiteloos, men kan iets van alle kanten en standpunten bekijken en in net zo veel detail als de programmeurs erin hebben gestopt. Is dat geen interessante manier van reizen? We hoeven ons niet te beperken tot rondlopen of vliegen als een soort VR-geest, maar kunnen ieder voertuig `simuleren'. We kunnen in VR dus in een auto rijden, maar ook een raket besturen. De meeste gebruikers van een PC hebben wel eens met een simulatieprogramma zoals Flight-Simulator gespeeld. Daarbij zit men als het ware (virtueel) in de stoel van de piloot en vliegt door een wereld met nagebootste vliegvelden, andere vliegtuigen, contacten met verkeersleiders etc. Bij dergelijke simulators is er sprake van gesimuleerde bewegingen in een bekende, niet abstracte ruimte, maar men kan alleen zo vliegen als in het echt ook kan, anders stort men neer en mag opnieuw beginnen.
    Men kan echter in de VR-omgeving natuurlijk wel uit de `aardse' beperkingen stappen en naar niet bestaande omgevingen overstappen in bijvoorbeeld een simulatie van een ruimteschip, en ook trips maken naar planeten waar nog nooit iemand geweest is. Dat gebeurt in de spelletjessfeer, ook bij de huidige generatie `platte' videospelletjes, nog duidelijker. Denk maar eens aan de ruimteschip shoot-out varianten, dan bestuurt men een ruimteschip of raket en bevecht ergens in het universum andere ruimteschepen.

    Zelf maken

    Net als de computerspelletjes dat in de jaren tachtig deden, vormt VR een creatieve (en commerciele) uitdaging van de eerste orde voor de computer-hackers en `afficionado's'. De ontwerpers en programmeurs kunnen hun wildste fantasieen uitleven en omdat de gemiddelde gebruiker toch wel de voorgekookte werelden zal gaan gebruiken, is er vast wel een markt voor. Dit kan aan de ene kant heel praktisch worden, het nabouwen van een `echte' omgeving of reis, maar er zit ook een kant aan, die zal uitgroeien tot een echte kunstvorm. Een nieuw beroep zit in de lucht dat artistieke en Štechnische talenten vraagt. Er wordt nu al gesproken over het vak van `VR-engineer' en voor de praktische uitvoering en ontwerpen over `spacemakers', mensen die dergelijke werelden en reizen opzetten.
    Net als bij bijvoorbeeld de videocamera, waarbij men in principe zelf films kan maken maar vrijwel niemand dat echt serieus doet, zit het erin dat VR een voornamelijk passief medium zal blijven.
    Men gaat de avonturen van anderen nabeleven, ronddwalen in de werkelijkheid die is gemaakt door professionele mensen, VR-kunstenaars en specialisten. Zelfs als de barriere van de software-deskundigheid die nu nog nodig is, zal zijn verdwenen blijft voor het maken van een leuke VR-omgeving veel inspiratie en waarschijnlijk ook veel werk te doen. Het beste wat we voorlopig kunnen verwachten is dat de makers van commerciele VR-environments de gebruiker de keus geven om wat zaken aan te passen en bijvoorbeeld te kiezen wat voor kleuren, thema, figuren en dergelijke voorkomen. Er zullen zeker zogenaamde VR Construction Sets komen, waarin men enige keus heeft qua figuren, setting en scenario.