feedback.
Rondreizen in de virtuele ruimte is alleen mogelijk wanneer we
onze
aanwezigheid daar kunnen zien en horen en ook signalen kunnen
geven. Het is intussen duidelijk dat het vooral de stereohelm
en de
handschoen zijn, die een computersysteem voor Virtual Reality
onderscheiden van een computer voor bijvoorbeeld Computer
Ondersteund Ontwerpen (CAD). Er zijn andere interfaces, zoals
joysticks, spaceballs en `Orbs'. Ook geluid kan een grote rol
spelen bij realistische VR-ervaringen, maar voor de gebruiker
is
het toch de stereohelm die gevoelsmatig het belangrijkst is.
Die
behandelen we na wat meer uitleg over `controls' eerst (met
misschien voor de leek wat veel technische details), gaan dan
over
op de handschoenen en verdere bewegingssensors en komen aan
het
eind van dit hoofdstuk terug op de functie van geluid.
Controls
De communicatie tussen de VR-deelnemer en de virtuele wereld
draait
op dit moment nog om een beperkt aantal sensors en effectors;
wat
dat betreft is zowel de `control' als de `immersie' nog
beperkt.
Bij de computerinterface spreekt men graag over `controls' en
bedoelt dan toetsenbord, joystick, muis en trackball. Bij VR
gebruikt men een iets andere terminologie en dat hangt samen
met
het gezichtspunt: van waaruit denk je. De interface tussen
gebruiker en computer is namelijk tweezijdig en dus moeten we
even
ingaan op sensors en effectors, zoals Walser die definieert en
die
we normaal gesproken als `controls' op een hoop gooien.
Gezichtspunt vanuit de `actor'
Het is volgens Randal Walser beter om van `sensors' en
`effectors'
te spreken, waarbij het gezichtspunt verplaatst wordt naar de
virtuele ruimte, en de vroegere `input-devices' nu `sensors'
voor
de `pop' of de acteur in de virtuele ruimte worden. De
joystick of
handschoen, waarmee de VR-reiziger zijn commando's geeft,
wordt dan
vanuit de VR-ruimte een `sensor' en om informatie vanuit de
virtuele wereld naar de man in de helm door te sturen zijn
effectors nodig. Een display is dus een effector, net zoals
geluiden vanuit de VR-ruimte via effector-luidsprekers worden
overgedragen. Het werkt even ingewikkeld, maar het went. De
stereohelm is in ieder geval een effector, net zoals het
beeldscherm bij de `projectie-VR' zoals Myron Krueger die
beschreef.
HMD: Stereohelm
Er zijn verschillende namen voor de VR-beeldhelm, men spreekt
van
Visor en de min of meer offici‰le naam is HMD voor Head
Mounted
Display. Het is in het algemeen een speciale helm of bril met
een
dubbel display waarmee een stereoscopisch beeld kan worden
gezien.
Onze hersenen maken daar dan vanzelf een soort ruimte van, we
kunnen het bij voldoende scherpte, detail en beeldhoek gaan
ervaren
als een `echte' wereld.
Het woord `Stereohelm' of `VR-helm' is niet helemaal dekkend,
maar
andere benamingen, zoals het `EyePhone' van het inmiddels min
of
meer verdwenen bedrijf VPL van Jaron Lanier waren ook geen
duidelijk begrip en bovendien zijn er rond dit soort
benamingen
altijd allerlei trademark-verhalen. VPL was in zekere zin wel
de
commercieele vader van de VR-helm, al waren er al eerder door
researchers van met name de NASA zelf helmen ontwikkeld. VPL
verkocht in de beginperiode ook de meeste stereohelmen aan
onder
meer AutoDesk en NASA. De VPL beeldhelm was een handige
combinatie
van LCD-schermpjes uit miniatuur TV's met natuurlijk extra
electronica voor de aansturing en met een positie-sensor
bovenop.
De optische onderdelen om met name de beeldhoek te vergroten
kwamen
van het bedrijf LEEP (Large Expanse Extra Perspective).
De VPL EyePhone werkte met twee NTSC-ingangen voor (kleur)-
videosignalen, twee audio-ingangen, een microfoonuitgang, en
RS232-
en RS422-interfaces voor de Polhemus bewegingssensor bovenop.
Na VPL ontwikkelden ook andere bedrijven helmen, zoals Sense8
en
VRontier en vooral VR Research leverde in de eerste VR-jaren
vrij
veel helmen aan de toen nog voornamelijk universitaire
laboratoria
en ontwikkelaars van VR.
De eerste generaties beeldhelmen of `goggles' was bepaald nog
niet
perfect, het ging om twee Liquid Crystal Display
(LCD-)schermpjes
van matige kwaliteit, die het nog niet haalde bij wat we zelfs
op
een gewone computermonitor zien. Onze hersenen zijn echter
vrij
simpel te bedotten. Zelfs een eenvoudige stereohelm is toch al
voldoende om effectief het gevoel te krijgen dat men ergens
anders
is.
Jaron Lanier zegt daarover: -De reden dat het hele systeem
werkt
is omdat onze hersenen de hele tijd druk bezig zijn om ons te
laten
geloven dat de werkelijkheid waar we in rondlopen ook
consistent
is, en alles wat het tegendeel aangeeft te onderdrukken. Wat
we
feitelijk opvangen, ook in de echte wereld, is zeer
fragmentarisch
en VR maakt daar gebruik van om een eigen illusie te
scheppen.þ
Sneller en scherper
Ondertussen is de techniek verder ontwikkeld, men gaat nu voor
een
beeldhelm meestal uit van VGA-kwaliteit en voor veeleisende
toepassingen gaat de beeldkwaliteit al snel naar de 1054x768
pixels
toe. Met speciale lenzen en filters wordt dat dan nog
aangepast aan
de manier waarop we kijken.
Naast LCD-schermen wordt er ook gebruik gemaakt van echte
beeldbuizen (CRT's) zoals die ook in een TV of monitor zitten,
maar
dan veel kleiner. Die worden dan meestal naast het hoofd
gemonteerd
en via een lenzensysteem wordt het beeld naar de ogen
gebracht.
De beeldkwaliteit is overigens niet alleen een kwestie van
displays, ook de computer en dan vooral de graphics onderdelen
daarvan moeten het allemaal aan kunnen. De beeldkwaliteit van
computers is die van video en zelfs van HDTV al lang
voorbijgestreefd en langzamerhand wordt het mogelijk dat ook
allemaal in `real-time' te realiseren. Dat wil zeggen dat het
beeld
steeds opnieuw wordt uitgerekend en weergegeven met een
frequentie
van tenminste 20 of 30 keer per seconde en niet beeldje voor
beeldje apart wordt gegenereerd en later wordt samengesteld en
op
video gezet zoals bij animatie-films.
Mechanisch, optisch en elektronisch deel
Een stereohelm bestaat uit het draagmechaniek, de feitelijke
displays en een optisch gedeelte met lenzen en de sensor voor
de
bewegingen.
Het draagmechaniek lijkt een eenvoudige zaak, maar om het
gewicht
van de voor het gezicht hangende schermpjes te compenseren
zijn
soms hele constructies nodig. Een constante kracht die aan de
nek
trekt wordt na een tijdje heel ongemakkelijk, dus is er een
contragewicht nodig. Dat kan achterop de helm, maar er zijn
ook
oplossingen waarbij het contragewicht via een soort hefboom op
de
borst hangt. Je kunt de hele display ook ergens aan ophangen
(head-
coupled systems), dat doen Leep Systems met de Cyberface en
Fakespace met de Boom displays.
Alles bij elkaar wordt een stereohelm toch een zwaar en
moeizaam te
bewegen ding, je gaat er echt niet lekker mee joggen.
Misschien is dit allemaal een kwestie van tijd, want de platte
displays, men gebruikt meestal LCD-schermpjes of kleine
beeldbuisjes, worden steeds lichter, kleuriger en scherper. De
nieuwste LCD's van Kopin zijn 1280x1024 pixels, maar zijn
behoorlijk duur.
Meer kleur en meer pixels vragen echter ook snellere
computers; het
is nog vrijwel ondoenlijk om bijvoorbeeld een hele omgeving in
hi-res (hoge resolutie) beeldkwaliteit te laten zien. Men lost
dat
dan zo op dat de normale rondkijk-beeldkwaliteit tamelijk grof
is
maar wanneer men geconcentreerd naar een object kijkt, wordt
er
automatisch overgeschakeld naar een betere beeldkwaliteit om
meer
details zichtbaar te maken.
Positiebepaling: Tracker
Bovenop de helm zit meestal de bewegingssensor, waarvan
Polhemus de
bekendste leverancier is. Een goed en snel beeld alleen is
niet
voldoende, je moet ook zien waar je naar kijkt en daar komt de
vertragingstijd van de bewegingssensor het een beetje
verpesten.
Dan draai je je hoofd, maar het beeld blijft nog even achter,
een
verwarrend gevoel, waar je snel wat misselijk van wordt. Zelfs
een
heel geringe vertragingstijd van enige tientallen
milliseconden van
de verplaatsingssensor is zodanig, dat je sterk het gevoel
hebt na
te ijlen bij de hoofdbewegingen.
Er zijn 3DOF (3 vrijheidsgraden) trackers, die alleen de
bewegingen
oppikken en 6DOF systemen, die ook de positie doorgeven
(x,y,z,yaw,pitch,roll)
Er is inmiddels een hele reeks bedrijven die stereohelmen
maakt,
die ook veel goedkoper zijn geworden en voor een deel zelfs
geschikt zijn om te gebruiken met gewone PC's. De ontwikkeling
gaat
nog door, voor de eindgebruiker worden er budget-modellen
uitgebracht en voor de wetenschappelijke en militaire
toepassingen
zijn er in laboratoria heel geavanceerde helmen.
3-D schermen
Als alternatief voor een helm kan men ook werken met andere
stereoscopische display-technieken, waarbij bijvoorbeeld een
LCD-shutter (sluiter) wordt gebruikt zoals in de CrystalEyes
van
StereoGraphics en Imax PSE van Sonics Assoc. of een eenvoudige
bril
met gekleurde glaasjes, zoals we die uit
3D-stereobioscoopfilms
kennen. Ook bij de film en de TV en zelfs bij vrij eenvoudige
spelcomputers heeft men vanaf het begin met stereo
ge‰xperimenteerd, en er zijn heel wat 3D-films en zelfs
TV-programma's gemaakt, die je met een groen/rood brilletje
kan
bekijken. Met een bril met LCD- elementen kun je ook
beurtelings
het linker- en rechteroog blinderen en zo met ‚‚n beeldscherm
en
afwisselende beelden toch een ruimtelijk effect bereiken,
zoals
o.m. Sega nu doet met haar VR videogames.
Een van de problemen van VR-helmen is dat het blikveld
tamelijk
beperkt is, je kunt de schermpjes niet dicht genoeg bij de
ogen
plaatsen en je zit dus met een beeldhoek van 60 of 70 graden.
Daar
is met wat optische trucs en lenzen echter wel wat aan te
doen.
Het is van belang om een relatief zo groot mogelijk schermpje
te
hebben, zodat de beeldhoek die gevuld wordt door het
computerbeeld
zo groot mogelijk is. In de cinematografie had men ook al snel
door
dat een groter beeldoppervlak en dus meer gevuld blikveld meer
indruk maakte en kwam men met grotere projectieschermen en
bijvoorbeeld de Emax-grootbeeldcinema.
Het bedrijf LEEP heeft zich gespecialiseerd in de
optimalisatie
van de ruimtelijke effecten en levert een stereobrilsysteem,
waarbij men de gezichtshoek groter gemaakt heeft voor een
beter
ruimtelijk gevoel. Zijn Cyberface HMD (head-mounted display)
is
vooral optisch gezien interessant. Omdat schermpjes voor de
ogen de
bruikbare gezichtshoek beperken heeft het bedrijf een soort
compressie uitgevonden om toch een bredere gezichtshoek op de
schermpjes af te beelden. Dit `Wide Angle' systeem met extra
perspectief-werking is ook weer door andere makers en
gebruikers
van stereohelmen overgenomen. De grotere gezichtshoek
versterkt de
ruimtelijke illusie, men denkt een beeld van 90 tot wel 270
graden
te zien in plaats van de 50 tot 70 graden van normale displays
en
de 35 graden van de eerste VR-helmen.
Microsharp
Een van de problemen bij schermpjes die heel dicht voor de
ogen
zitten is dat je de pixels al snel als afzonderlijke puntjes
ziet.
Er zijn nu kunststof filters ontwikkeld, die dit effect
beperken,
zogenaamde depixellation polymeren met een soort microlensjes
die
de overgangen van de ene pixel naar een andere afvlakken.
Daarmee
neemt de beeldkwaliteit toe zonder dat men veel meer hoeft te
doen
dan een laag aanbrengen. De uitvinder van deze
Microsharp-techniek
is William Johnson .
Sequential RGB video
Je kunt op de traditionele manier kleurenbeeldjes maken met
drie
verschillende aansturingen voor de RGB-kleuren, maar je kunt
de
verschillende kleuren ook achter elkaar zetten, en dan met een
LCD-
shutter de kleur veranderen. Zeker wanneer er wordt gewerkt
met
CRT's (beeldbuizen) is dat eenvoudiger, sneller en met minder
storingen. Tektronix heeft bijvoorbeeld zo'n `field sequential
RGB
video'- systeem, waarmee je met opzij gemonteerde beeldbuizen
(geen
LCD's) heel hoge scherptes kunt bereiken, tot 1280x960 pixels
bij
30-Hz beeldfrequentie.
Visortron
Er zijn allerlei helmen op de markt gebracht, zoals de
CrystalEyes-VR van StereoGraphics en helmsystemen van de
Virtuality, Virtual Research, Kaiser Electro-Optics en de VR
Group
. Dit soort helmen met speciale technieken en schermpjes zijn
echter vrij duur, het gaat al gauw om tienduizenden guldens.
Wat
dat betreft is de aanpak om de 3D-bril voor de Sega-
spelcomputer
om te bouwen voor VR wat simpeler. Er zijn ook leveranciers
zoals
Forte en VictorMaxx, die zich meer op de PC-markt richten met
betaalbare helmen.
Omdat een aantal elektronicaconcerns bezig is met de
ontwikkeling
van TV-brillen zit het er in, dat er binnenkort nog veel
betere en
goedkope helmen beschikbaar komen. De Visortron TV-bril van
Sony is
bedoeld voor de gewone consument die TV wil kijken, maar is
vrij
eenvoudig voor VR aan te passen. Matsushita en Olympus zijn
andere
bedrijven die reeds werkende modellen van beeldbrillen hebben
getoond, het Olympus-model weegt maar 360 gram en gebruikt
LCD's
met 96000 pixels. Sega heeft al een betaalbare 3D-bril
uitgebracht
als uitbreiding van haar spelconsole en ook voor de Amiga en
de PC
zijn er helmen op de markt, die echter geen hoge
beeldkwaliteit
bieden. Het zou overigens wel eens zo kunnen zijn dat de
beschikbaarheid van stereo voor de huiskamer-TV en de
ontwikkeling
van VR parallel lopen.
Geluid
Het lijkt heel eenvoudig om spraak- of geluidseffecten aan een
VR-omgeving toe te voegen. Net als bij een computerspel
verhogen
geluiden en misschien een stem de betrokkenheid van de
VR-reiziger.
In de praktijk blijkt het echter niet zo eenvoudig om
driedimensionaal geluid te maken, dat wil zeggen geluiden
waarvan
de bron net als bij het visuele signaal op dezelfde plaats
blijft
wanneer men het hoofd draait.
Een van de doorbraken bij het gebruik van geluid bij VR kwam
van de
NASA-researchgroep die het Virtual Environment Workstation
(VIEW-)project uitvoert en waarbij Elisabeth Wenzel en Scott
Fisher
betrokken waren. De VIEW-groep heeft al veel ge‰xperimenteerd
met
ruimtelijk geluid. Men heeft meetopstellingen gemaakt waarbij
er
tenminste vijf luidsprekers en microfoons nodig zijn om
realistisch
ruimtelijke geluidseffecten te kunnen meten en vastleggen.
Door
daarmee speciale overdrachtsfuncties per individu te bepalen
en die
met de computer om te zetten, kan men dan in tweede instantie
de
ruimtelijke geluiden toch door een stereokoptelefoon laten
horen.
De gebruiker krijgt dan inderdaad de indruk dat de
geluidsbronnen
op een bepaalde plaats blijven, ook wanneer hij het hoofd
draait of
zelf beweegt. Op die manier kan men richtingsgevoelige
signalen
maken; een extra element in de VR-wereld met allerlei
voordelen.
Men is nu bezig om wiskundige modellen te ontwikkelen die
minder
persoonsgebonden zijn, zodat dit soort effecten niet per
persoon
behoeven te worden aangepast. Audio-aanwijzingen, zowel spraak
als
geluiden, kunnen in VR erg belangrijk zijn.
In de praktijk gebruiken we ons gehoor heel vaak voordat we
ons
bewegen; zoals naar iemand toe draaien zodra die iets tegen
ons
zegt. Het gehoor is heel goed in staat om uit achtergrondruis
toch
`cues' te filteren; een telefoon op de achtergrond halen we er
altijd heel snel uit.
Er is al een commerci‰le toepassing van de NASA-technologie,
die
door het bedrijf Crystal River Engineering van Scott Foster
als
PC-kaart onder de naam Convolvotron wordt uitgebracht. Daarmee
kan
kunstmatig 3D-geluid worden gesimuleerd in een
stereokoptelefoon.
Door filtering krijgt de luisteraar het gevoel dat de
geluidsbron
op ‚‚n plek blijft wanneer hij zelf beweegt. Dergelijke
bewerkingen
vragen veel computerkracht, daarom wordt er gebruik gemaakt
van 128
parallelle processors voor 320 MIPS real-time audiobewerking.
Voor
het zelf maken van geluidseffecten wordt er een bibliotheek
met
C-programma's bijgeleverd.
Geluidsiconen
Het is even een gedachtenstapje maar bij VIEW werkt men ook
hard
aan het ontwikkelen van iconen voor geluid (Earcons in
analogie met
Icons). Net als bij beeldiconen die we bij de moderne
computerinterfaces tegenkomen, zijn dat gestandaardiseerde
geluiden
met een specifieke functie. De telefoonbel is voor iedereen
duidelijk herkenbaar, maar ook het dichtvallen van de
brievenbus en
de drietonige hoorn als alarmsignaal kunnen we als icoon
gebruiken.
Nieuwe iconen kunnen we zelf maken, bijvoorbeeld een piepje
voor
aanraken, twee piepjes voor loslaten en dan is ook meteen
duidelijk
dat geluid kan worden gebruikt als alternatief voor de
tactiele
feedback. Wanneer we iets proberen aan te raken of op willen
pakken
kunnen geluidssignalen daarbij helpen en deze zijn relatief
eenvoudig te genereren. Ook de interactie tussen objecten in
een
VR-omgeving kan met geluid soms beter worden begrepen, we
kennen
allemaal het Doppler-effect waarbij het lawaai van een auto
die
naar ons toekomt iets hoger klinkt dan wanneer hij van ons af
rijdt. Dit soort effecten staat nog in de kinderschoenen maar
geluid (en spraak) is een zeer krachtig medium en binnen de
VR-techniek zal het dan ook zeker een belangrijke plaats gaan
innemen.
Feedback
Wat de gebruiker dus ziet of voelt, de effectors, is onder
meer van
belang voor de terugkoppeling, de feedback. Dat heeft te maken
met
de optische lus: kijken hoe het systeem reageert op
veranderingen
die men doorgeeft aan de sensors door een ander beeld te
genereren,
maar er zijn natuurlijk nog andere terugkoppellussen. De
handschoen
is daarbij van belang, maar we hebben ook te maken met wat de
gebruiker nu voelt. Dat is niet eenvoudig, de tactiele of
haptische
feedback staat nog in de kinderschoenen.
Tactiele feedback
Sommige mensen zijn gevoeliger voor aanraking dan anderen,
maar
allemaal ervaren we het voelen als een belangrijk zintuig;
voor
veel primaire reacties zelfs essentieel. Wanneer je je brandt,
voel
je dat veel sneller dan dat je ogen waarnemen wat er aan de
hand
is. Het `kinestetische' aspect, dus het aanraken, het voelen
van
luchtstromen, warmte en koude, het herkennen van oppervlakten
en
ook het evenwichtsgevoel spelen een belangrijke rol in het
`immersion'-effect, het helemaal onderdompelen in de ervaring.
Wie
ogen en oren afsluit voor externe signalen gaat veel intenser
reageren op zijn lichaam. Wie wel eens in een zogenaamde
isolatietank heeft gelegen, weet hoe sterk dat werkt. Een
isolatietank of `sensory deprivation'-tank is een bad met zout
water zodat je er gemakkelijk in blijft drijven en afgeschermd
van
licht en geluid geeft het je een gevoel alsof je drijft in een
onbepaalde ruimte. Je geest gaat dat na een tijdje overigens
weer
invullen en als het ware de heel schaarse signalen zoals je
hartslag en de minieme bewegingen in het water toch weer
`opvullen'
met soms hallucinatieve beelden.
In ieder geval besefte men ook voor Virtual Reality al snel
dat je
het gevoel en vooral de lichamelijke sensaties bij bewegen
niet
helemaal kon negeren, al was het maar omdat anders de
simulatorziekte sneller optrad. Dus bouwde men al snel
fietsen,
waar je echt op kon fietsen door een virtuele stad (Jeffrey
Shaw en
AutoCAD), wandeltredmolens en bewegende of draaiende stoelen.
De
meeste VR-toepassingen zijn echter nog niet zover en men
behelpt
zich dan met vrij primitieve middelen voor de tactiele
ervaringen.
Vooral in de feedback is het grijpen en oppakken van
voorwerpen van
belang; bij experimenten met Telepresence blijkt dat je anders
snel
door muren heengaat of dingen kapotknijpt. Je kunt die
feedback
regelen met kleine motortjes of opblaasdingen in de
handschoen,
maar je kunt ook een soort constructie maken, die de
noodzakelijke
tegenkracht geeft.
Voelbare terugkoppeling
Zelfs wanneer we kunnen zien en horen, zijn er toch situaties
waarin het gevoel een grote rol speelt. Vorm, structuur,
temperatuur, je weet pas dat je iets aanraakt wanneer het jou
terug
aanraakt; voelen is heel complex. Buiten in de kou in een
sneeuwbui
rondlopen wordt pas levensecht wanneer je de kou ook echt
voelt.
Dingen oppakken en bijvoorbeeld weer monteren, schroeven
aandraaien, hoe kun je dat doen zonder gevoel.
De handen of het hoofd bewegen is ‚‚n ding, maar hoe merken we
of
dat effect heeft, hoe kunnen we bijvoorbeeld iets pakken als
we
geen weerstand voelen? Hoe kunnen we in de ruimte een moer
aandraaien, als we niet weten hoe vast die al zit? Dergelijke
problemen komen in de praktijk van de Telepresence al voor.
Hoe
voorkom je dat de robotarm alle buisjes bij een
laboratoriumproef
met afstandsbediening kapot knijpt?
Daarvoor is een soort terugkoppeling nodig, als automatisme
bij
bijvoorbeeld mechanisatie, en in VR omdat we moeten zien en
voelen
wat we doen. Visuele terugkoppeling, zien wat we doen, werkt
een
beetje, maar is niet erg precies. We kunnen iets doen met
elektrische pulsjes of met geluid, maar het beste is tactiele
(haptic) terugkoppeling, een soort gevoel dat we een weerstand
ondervinden. Ook als we ergens tegenaan lopen: hoe kan dat
worden
doorgegeven? Op dit moment zweef je in VR nog dwars door muren
en
obstakels heen. Dat is niet zo eenvoudig op te lossen, er
wordt
gewerkt aan hele skeletachtige dingen (exoskelet) die een
weerstand
geven bij het buigen van onze handen of ledematen en aan
apparaten
met een soort haartjes, die naar buiten schuiven, maar een
goede
techniek is hier nog niet voor. Het gaat om een soort
tegenkracht,
die reageert op onze `greep' en om de eigenschappen van het
materiaal dat we in de VR-omgeving aanraken. In eerste
instantie
richt men zich daarbij op de handen, maar ook andere
lichaamsdelen
spelen een rol, al was het maar vanwege de fascinatie met
Virtual
Sex, die we bespeuren.
Je kunt met kleine vibrerende piezo-elektrische kristalletjes
wel
signalen doorgeven aan een handschoen, maar er zijn vele
andere
methoden beproefd. Myron Krueger heeft een feedback joystick
ontwikkeld en Margaret Minsky van UNC/MIT MediaLab (Marvin
Minsky's
dochter) heeft een tactiele joystick ontworpen, waarmee je de
oppervlakte en de textuur van oppervlakken kunt aanvoelen.
TiNi
Alloy Company uit Emeryville heeft een tactiele feedback unit
met
voelertjes, een soort interactief schuurpapier, ontwikkeld dat
via
een matrix van kleine pennetjes weergeeft hoe een oppervlak
aanvoelt. Het werkt met shape-memory legeringen, die
terugspringen
in de vorm. Het Advanced Robotics Research Lab (ARRL) van
Robert
Stone ontwikkelde de TeleTact, een handschoen met minuscule
kleine
luchtkussentjes die waren gekoppeld aan een pompsysteempje.
Omdat we zowel voelen door de spanning van onze spieren en
pezen
(proprioception), als door kleine mechanoreceptors in
verschillende
vormen en zelfs door de haartjes in onze huid, is een
universele
manier om een `tactiele' interface te ontwikkelen niet
eenvoudig.
Het belang ervan is echter wel heel duidelijk aanwezig, veel
van de
zogenaamde Telepresence-applicaties draaien om een juiste
tactiele
feedback om bijvoorbeeld werkzaamheden op afstand in de
ruimte,
kerncentrales etc, te kunnen uitvoeren. Daar wil je niet
onwillekeurig de werktuigen of voorwerpen in de echte omgeving
beschadigen of kapot knijpen. Voorbeelden van dit soort
interfaces
zijn de Argonne Remote Manipulator en de voor handbewegingen
wat
preciezere Portable Dextrous Master in combinatie met een
DataGlove
om `force feedback'-signalen terug te voeren naar de hand.
Dat is een van de uitdagingen, en VR biedt er nog wel een
paar. Hoe
kun je bijvoorbeeld geuren genereren en wat doe je om de
zwaartekracht voelbaar te elimineren: gaat de VR-gebruiker dan
in
een zwembad drijven?
Sensors
Voor het oppikken van signalen uit de echte wereld, dus over
wat de
bestuurder, speler of bewoner doet, zijn sensors nodig. Naast
de
helm als belangrijkste effector in de terugkoppellus, kunnen
we een
handschoen met sensors als de DataGloveþ, een joystick of een
ander
besturingsapparaat als sensor gebruiken. Er zijn heel wat
ontwerpen
gemaakt en hoewel de handschoen en in het verlengde daarvan de
complete `Datapakken' op dit moment de meeste aandacht
krijgen,
zijn er wel degelijk goed werkende alternatieven. Daarbij kan
met
name de weerstandskracht, die essentieel is voor
grijpfuncties,
beter worden overgedragen. Sense8 heeft een soort bolvormige
joystick/controller met 6 vrijheidsgraden, die `Orb' wordt
genoemd.
Er zijn ondertussen hele reeksen datahandschoenen, waarmee we
VR-omgevingen kunnen benaderen, ontwikkeld. Meestal is er ook
een
afbeelding van die hand(schoen) in de VR-omgeving, die dient
als
referentiepunt. Ze worden steeds beter; er wordt gewerkt aan
tactiele feedback, zodat je het ook voelt wanneer je iets
aanraakt,
toch vindt niet iedereen zo'n handschoen ideaal. We bespreken
een
paar modellen.
DataGlove
De al eerder beschreven DataGlove van VPL is de grote
doorbraak op
het `sensor'-gebied geweest en is ontwikkeld door Tom
Zimmerman en
Young Harvill. Het is een handschoen met sensors die
bewegingen,
zoals het buigen van vingers, oppikken en doorgeven. Er wordt
gebruik gemaakt van glasvezelkabels en de vervorming van het
licht
van een LED door het buigen van de glasvezel. Bovenop zit een
Polhemus-sensor voor de bewegingen in de ruimte, de
plaatsbepaling
van de hand. De interface bestaat uit een RS232- of
422-serieverbinding.
Het werken met bewegingen van een enkele of zelfs beide handen
is
nog maar beperkt; een natuurlijke overdracht van signalen is
mogelijk, wanneer we sensoren (voelers) gebruiken die zijn
aangebracht op onze kleren, en meestal werken door verandering
van
elektrische eigenschappen door uitrekking of vervorming. VPL
had
een aantal octrooien (patenten) op het gebruik van glasfiber
als
sensors in een `DataSuit', terwijl Zimmerman patent op de
handschoen had, maar dat was erg conceptueel en moeilijk te
verdedigen.
Mattel heeft op basis van de VPL DataGlove een handschoen voor
de
populaire Nintendo-spelcomputer laten ontwikkelen door AGE
Industries uit New York, die PowerGlove heet.
In de PowerGloveþ maakt men gebruik van een eenvoudiger
techniek, namelijk ultrasone plaatsbepaling en
elektrisch-geleidende coatings op de handschoen. Het vreemde
is dat
de eerste grootschalige commerci‰le toepassing, die met VR te
maken
heeft, met een toch relatief eenvoudige videospelcomputer als
die
van Nintendo werkt. Met de Nintendo-computer is het
driedimensionale effect nog wel erg beperkt, maar kan men met
de
handschoen bijvoorbeeld allerlei balspelen en ook actiegames
toch
een heel nieuwe dimensie geven. Een spelletje voor deze
handschoen
is Super Glove Ball. In plaats van het werken met een
enigszins
kunstmatige joystick, worden nu de bewegingen van de hand
direct
doorgegeven naar de spelcomputer, die dat weer vertaalt naar
de
gebeurtenissen op het scherm.
Een leuke toepassing van de DataGlove is ontwikkeld door
Greenleaf Medical uit Palo Alto. Dit bedrijf past de DataGlove
aan
voor gebruik door gehandicapten. Zo is er de `Glove Talker',
waarbij mensen die niet goed kunnen praten de handschoen
gebruiken
om gebarentaal om te zetten in hoorbare spraak.
Bewegen en positiebepalen
We noemden de trackers al eerder, de ruimtelijke bewegingen
van de
VR-deelnemer bij de meest grote VR-systemen, zoals die van VPL
en
AutoDesk, worden overgebracht door zogenaamde trackers of
verplaatsingssensors van o.m. Polhemus. Die werken op basis
van
elektromagnetische velden; de sensor op zich is vrij klein
maar er
is wel een vrij duur meet- en interfacekastje nodig. Het
probleem
is dat er een zekere vertraging is tussen het oppikken van de
beweging van het hoofd, en de vertaling is een voor de
computer
hanteerbaar model. Dat duurt niet lang, maar zelfs 50
milliseconde
blijkt voor bijvoorbeeld verkeerssimulaties al onacceptabel.
De
beste trackers komen nu onder de 5 milliseconde latency
(vertraging).
Magnetische velden zijn niet de enige manier om bewegingen
over
te dragen; radar, ultrasoon geluid en infrarood licht bieden
een
alternatief. Jaren geleden waren er al zogenaamde
driedimensionale
joysticks die gebruikt werden voor videospelletjes. Voor de
Nintendo is er de U- Force controller, waarmee zonder direct
fysiek
contact handbewegingen, zoals bij een boksspelletje, kunnen
worden
overgedragen aan de computer. Dat gebeurt doordat er een soort
driedimensionaal infrarood raster van lichtstralen is, het
onderbreken daarvan geeft de informatie door. Niet alleen de
verplaatsing, maar ook de snelheid van de verplaatsing kan
worden
opgenomen.
Een relatief eenvoudig te construeren interface is een
(stilstaande) fiets, waarvan de trap- en stuurbewegingen
worden
opgenomen, of een tredmolen waarop men kan lopen. Dat soort
dingen
is in ruwe vorm te koop, dergelijke wandelbaantjes zijn er al
voor
bewegingstherapie en kunnen redelijk simpel worden uitgerust
met
sensors. Jeffrey Shaw maakte er gebruik van in zijn `leesbare
stad', maar ook AutoDesk gebruikte dergelijke sensors om een
golfbaan te construeren en in het `Hicycle'-project.
In de eerste generatie VR-systemen was men erg gericht op
het
gebruik van de handschoen als interface, maar ondertussen zijn
er
hele reeksen 3D-joysticks, spaceballs en andere `controls'
bijgekomen. De handschoen is relatief kwetsbaar, ingewikkeld
en er
zijn ook hygi‰nische bezwaren. Een van de diepere problemen
die
door het gebruik van de handschoen wel naar voren zijn gekomen
is,
hoe we commando's kunnen geven aan het systeem. Voor een deel
is
dat een kwestie van software, maar we gaan er hier al op in om
te
illustreren dat je er niet bent met alleen maar leuke spullen,
je
moet ook goed begrijpen hoe je in de virtuele omgeving moet
opereren.
Aanwijzen, menu's, commando's
Hoe geef je in een virtuele omgeving aan waar je naar toe
wilt, wat
je wilt doen en waarmee? De eerste pogingen op dit gebied
waren
terug te voeren op een soort gebarentaal, zoals het uitsteken
van
de wijsvinger, en dergelijke. Dat was erg leuk en creatief en
men
heeft heel wat aardige vondsten gedaan. Het gebruik van de
hand als
metafoor is op zich heel toepasselijk, de menselijke hand is
bij
uitstek de link tussen wat er zich van binnen afspeelt en de
wereld
buiten, tussen geest en materie.
Maar ondertussen is dit hele onderwerp wat serieuzer
bestudeerd
en weet men ook meer over gebaren en hoe we die interpreteren.
Het
blijkt dat `gestures', behalve een paar hele duidelijke, toch
non-intu‹tief zijn. Het is niet voor iedere gebruiker logisch
dat
een bepaalde vinger uitsteken of krommen dit of dat betekent.
Nu
kun je dat wel gaan trainen en tot een soort nieuwe
gebarentaal
komen, maar eigenlijk wil men dat niet, het moet `intu‹tief'
werken.
Door het toevoegen van nieuwe concepten en metaforen,
zoals bij
beweging de hand vervangen door een vliegtuigbeeldje of een
pijlpunt kun je al verder komen, maar men werkt ook veel met
een
soort driedimenionale menu's, waaruit je dan kunt kiezen.
In de combinatie van handbewegingen, gesproken commando's
en
menu's kan men al heel werkbare interfaces construeren. Het is
nog
een creatieve warboel; men probeert van alles, zoals
menubalken,
knoppen en omgevingsvreemde objecten zoals in adventures of
juist
gewone zaken als deurknoppen, bellen, postbussen en telefoons
in de
VR-omgeving. Maar het is er nog lang niet; het zit er niet in
dat
er een soort standaard komt met iconen, die dan aansluiten bij
Windows of zoiets. De user-interface is bij VR nog volop in
ontwikkeling.
Op een ander spoor
Men begint hier en daar te beseffen dat de technieken uit de
beginjaren van de VR, en dan met name de handschoen-interface,
helemaal niet zo geschikt zijn. De VPL DataGlove was in de
praktijk
een onding, kwetsbaar en moeilijk te calibreren. Men stapt
steeds
meer over op zgn. spaceballs en andere joystick-achtige
bedieningsinstrumenten. Ook bij de helmen komen vragen op,
zoals
hoeveel stralingsbelasting van CRT's (buizen) men eigenlijk zo
dicht bij het hoofd mag accepteren. De eerste generatie helmen
werkte met LCD's, maar die zijn niet snel en niet scherp
genoeg,
dus werkt men nu voor de 1280x1024 helmen weer met
CRT-projecties
en een lenzenstelsel. Daarbij zitten de stralingsbronnen vlak
naast
de oren en gezien allerlei processen rond straling van mobiele
telefoons en de Nintendo/epilepsi-problemen moet men dus
oppassen.
Zijn voorlopig schermen niet handiger, goedkoper en
praktischer,
vooral wanneer men meerdere gebruikers tegelijk een `wereld'
wil
laten zien?
Gezondheidsproblemen
Er zijn ook wel wat problemen met deze hele `onderdompelings-
techniek', omdat er nog onzekerheid is over de gevolgen voor
de
gezondheid. Al een paar jaar beloven fabrikanten van
consumenten-
electronica en dan met name uit de hoek van de spelcomputers
(Sega,
Nintendo, Atari) dat nu toch snel een consumenten-VR systeem
zal
worden uitgebracht. Maar iedere keer blijkt dat men het weer
heeft
uitgesteld. Er zijn wel bedrijfjes die leuke helmen aanbieden,
maar
de voor massa-produktie en een acceptabele prijs benodigde
aantallen kunnen alleen gehaald worden, wanneer een groot
bedrijf
erachter gaat staan. En die aarzelen met name, omdat de
gezondheidsaspecten van immersion-VR en beeldhelmen
onduidelijk
blijven. Zeker in de Ameriakaanse situatie kan men zich niet
permitteren, dat kinderen bijvoorbeeld epileptische aanvallen
zouden kunnen krijgen bij gebruik van een helm. Zoiets wordt
direct
voor de rechter gebracht en zelfs een club als Nintendo zou
snel
onderuit gaan aan de schadeclaims. En VR brengt zekere gevaren
met
zich mee, niet alleen vanwege de flikkerende lichtjes, maar in
een
breder kader vanwege de simulator- ziekte verschijnselen. Ook
is
het de vraag of het gebruik van CRT (beeldbuizen) die recht in
het
oog stralen of naast het hoofd zijn gemonteerd, wel
verantwoord is.
-macro