La realitat mixta o MR (sigla de l'anglès, Mixed Reality) consisteix a combinar mons virtuals amb el món real (físic) en temps real. Aquesta combinació permet crear nous espais en els quals interaccionen tant objectes i/o persones reals com virtuals. És a dir, es pot considerar com una mescla entre la realitat, realitat augmentada, virtualitat augmentada i realitat virtual.
El terme realitat mixta no s'ha de confondre amb el de realitat augmentada o AR. La realitat augmentada genera els estímuls a temps real per a la interacció de l'usuari, els quals se superposen sobre l'entorn físic d'aquest; mentre que la realitat mixta no només permet la interacció de l'usuari amb l'entorn virtual sinó que també permet que objectes físics de l'entorn immediat de l'usuari serveixin com a elements d'interacció amb l'entorn virtual.
Definició i característiques
L'any 1994 Paul Milgram i Fumio Kishino van definir el concepte de realitat mixta com a qualsevol lloc entre els extrems del continu de la virtualitat. Aquest continu de la virtualitat s'estén des del món completament real fins a l'entorn completament virtual, trobant-se entremig d'aquests la realitat augmentada i la realitat virtual.[1]
Esquema del Continu de la Virtualitat definit per P. Milgram i F. Kishino
Alguns autors consideren que la RM ha de presentar els següents trets:[2]
Una combinació de realitat augmentada i virtual, on dispositius i aplicacions de realitat mixta poden barrejar ambdues tecnologies en el mateix ambient.
Característiques més avançades que la realitat augmentada: un nivell d'integració i interacció del món virtual tant en l'ambient com en l'usuari més alt.
També hi ha autors que la descriuen com a sinònim de la realitat augmentada, la substitueix, ja que no troben diferencies apreciables. Altres, la descriuen com un producte de màrqueting.
Característiques
La realitat mixta pot tenir característiques similars a la realitat augmentada o virtual, però en podem determinar les següents característiques:
Combinació d'ambients i objectes reals i virtuals amb gràfics en 3d.[3]
El nivell de virtualitat: no ha de ser completament generat per ordinador.[2] Les recreacions són sobretot visuals, tot i que es poden simular altres sentits.[2][4][5]
El nivell d'immersió per part de l'usuari ha de ser més elevat que a la RA.[2]
És plenament interactiva.[3] L'usuari pot interactuar amb el món virtual a través de la realitat, manipulant aspectes de l'ambient, amb comandaments físics o amb gestos.[2]
Les recreacions virtuals i interaccions son en temps real i sincronitzades.[3]
Els ambients físics i virtuals en la realitat mixta, poden ser en exteriors, interiors, o una combinació d'ambdós, amb els usuaris al mateix espai o separats.[2]
Pot tenir un usuari o múltiples, de manera simultània i coordinada.[2] Els usuaris poden ser geolocalitzats.
Desconeixement, es una tecnologia en desenvolupament.
Principi de funcionament
Com ja s'ha dit, la realitat mixta permet la incorporació d'objectes gràfics generats per ordinador en una escena tridimensional del món real o bé la incorporació d'objectes reals en un món virtual. El principi de funcionament d'aquesta tecnologia és molt complex, però a grans trets es podria entendre de les següents maneres:
Per al cas en el qual es pretén introduir un objecte a un món virtual, primer es procedeix a registrar a l'usuari o objecte en temps real i en imatges tridimensionals; aquestes imatges en 3D es podran introduir al món virtual. L'usuari podrà veure el resultat mitjançant una interfície en l'ordinador. Fins al moment, aquesta aplicació s'ha utilitzat majoritàriament en videojocs, com ara el EyeToy per la consola PlayStation 2 de Sony.
En canvi, en el cas de la introducció d'objectes virtuals en el món real, el sistema es basa a crear una interfície amb marques a les quals un ordinador pot respondre havent realitzat una prèvia lectura d'aquestes mitjançant una càmera de vídeo o càmera web.
Les marques de la interfície solen ser impressions en blanc i negre sobre una suport rígid. La informació que capta la càmera de la interfície serà el codi amb el qual l'ordinador podrà generar les imatges virtuals corresponents i les pugui situar en l'escena virtual segons la posició i rotació de les marques.
Principals camps d'aplicació de la RM
La realitat mixta s'està implementant en un gran nombre d'aplicacions, s'està començant a manifestar en la indústria de l'entreteniment i l'art, així com comença a diversificar-se en el món de l'educació i dels negocis.
Els principals camps on s'està aplicant actualment la realitat mixta son:
Educació
La realitat mixta pot transformar l'educació en una experiència immersiva. Els estudiants poden tocar i manipular objectes facilitant una millor comprensió. A més, també poden interactuar amb conjunts de dades, fórmules complexes, i conceptes abstractes; la RM pot esdevenir fonamental en les STEM:[10] permet crear espais on els estudiants utilitzen dades com el moviment físic o el posicionament per facilitar la comprensió de conceptes.[11] També gràcies a la Realitat Mixta, els alumnes d'FP poden practicar procediments, i així realitzar simulacions i experiments en laboratoris virtuals.[12]
Altres camps on ja s'utilitza la realitat Mixta en l'educació són per exemple les ciències socials o l'art.[13]
Gestió interactiva de contingut del producte (IPCM)
L'IPCM permet transformar els productes d'un catàleg estàtic en models 3D interactius, per exemple en la indústria de la construcció. També s'utilitza aquesta tecnologia per obtenir una experiència immersiva i detallada dels projectes immobiliaris.[14]
Bèl·liques
Mitjançant la realitat mixta els soldats es connecten permanentment al centre de comandament, des del qual reben ordres i milloren les intervencions. També poden visualitzar mapes digitals o fer que rebin suport amb les seves armes.[15]
Procés de Fabricació i manufactura
La utilització d'un sistema de RM en la manufactura de productes, millora la productivitat, redueix costos i en millora la qualitat. Gràcies a la RM, els professionals poden accedir a instruccions projectades de forma virtual, deixant les mans lliures per operar. També permet monitorar les rutines dels empleats i millorar les seves condicions de treball, per exemple, amb l'ergonomia.[16]
Medicina i salut
La RM en l'àmbit de la salut, permet la visualització dels procediments abans de la cirurgia, la capacitació del personal d'infermeria, la millora de la comunicació entre metges i pacients, i la reducció del temps i de l'error humà en la cirurgia. Com a exemple: pot ajudar els cirurgians a localitzar els problemes, amb la superposició d'holografies.[17][18]
Es podrien anomenar moltes més aplicacions de les presentades a continuació, de manera que aquí es presenten unes poques:
Pèndols de la Universitat d'Illinois
Una de les primeres aplicacions de realitat mixta va ser creada per Alfred Hubler de la University of Illinois. L'aplicació constava en que un pèndol virtual empenyia una pèndol real, i viceversa.
En l'experiment es connectava un pèndol mecànic a un de virtual que es movia segons equacions de moviment testades en el temps. Els investigadors enviaven dades del pèndol real al pèndol virtual, i enviaven informació del pèndol virtual a un motor que influenciava el moviment del pèndol real.
Aquesta realitat mixta resultant va ser possible de crear gràcies a la velocitat computacional dels ordinadors d'avui en dia.
Interfície de realitat mixta
Creada per Kommerz. És un sistema que pot ser utilitzat en una gran varietat d'aplicacions, com ara, jocs, arquitectura i planificació de paisatges.
La interfície permet controlar objectes virtuals en 3D tot utilitzant objectes reals (p. ex. joguines, geometries, caràcters especials...).
Es tracta d'una tecnologia en desenvolupament que consisteix en un HMD que incorpora dos càmeres compactes integrades. El HMD permet eliminar la diferència que apareixeria entre els dos ulls de l'observador en utilitzar dos càmeres diferents per cada ull. L'observador veurà objectes virtuals juntament amb altres reals, permetent a l'usuari saber la dimensió de l'objecte virtual, ja que ho pot comparar amb objectes reals. Aquests objectes reals són creats mitjançant ordinador i projectats en el món real d'una manera o altra mitjançant projectors, segons la distribució de les marques negres i blanques de les interfícies col·locades en l'entorn real.
MR al Second Life
El món virtual Second Life permet que l'usuari o avatar, pugui assistir a classes a la Universitat Harvard. En aquestes classes es poden veure en una pantalla al professor, com si l'avatar estigués realment seguint una classe a la universitat. Es tractarà de realitat mixta si aquesta projecció del professor de Harvard en la classe al Second Life és a temps real.
Tecnologies de visualització de realitat mixta
Els recursos necessàris per l'usuari d'RM son bàsicament un ordinador amb els requisits tècnics mínims, i un dispositiu de visualització.
A diferència de la VR, la majoria de tecnologies de RM requereixen sensors i càmeres, que se situen externament, o bé poden estar incorporats als auriculars. La diadema proporciona una interfície a l'espectador per accedir al món virtual. En el futur i gràcies a la tecnologia 5G, la RM es desplegarà al núvol proporcionant una velocitat de latència molt reduïda.[23]
Diadema Microsoft Hololens
Cave Automatic Virtual Environment: és un entorn de realitat virtual immersiva, en la qual es projecten imatges 3D sobre les parets d'una sala en forma de cub. L'usuari veurà els objectes 3D amb unes olleres estereoscòpiques.
Exemple d'una C.A.V.E.
Head-up display: és un dispositiu que permet projectar informació sobre una superfície transparent que es troba davant de l'usuari.
Permet a l'usuari veure informació i/o imatges davant seu sense haver de moure el cap.
Head-Mounted display: és un dispositiu de visualització semblant a un casc, que permet reproduir imatges creades per ordinador sobre un ″display″ molt propera als ulls o directament sobre la retina dels ulls.
Exemple d'un Head-Mounted Display
Aquesta tecnologia permet a l'usuari introduir-se en un entorn de realitat virtual, realitat augmentada o realitat mixta, ja que en tenir el dispositiu tan a prop dels ulls els objectes virtuals projectats semblem formar part de l'entorn de l'usuari.
