L’objectiu d’aquesta primera pràctica és analitzar diferents projectes d’interacció tangible per comprendre com es tradueixen les accions físiques en respostes digitals, quins dispositius i tècniques s’utilitzen, i com es dissenya el flux d’interacció entre usuari i sistema. A partir d’una recerca inicial de diversos exemples, on duré a terme una anàlisi comparativa i posteriorment un estudi en profunditat d’un projecte seleccionat.
1.-) El primer d’aquest és LEGO Out of the Box, un projecte desenvolupat en col·laboració amb LEGO que explora la combinació d’objectes físics amb models digitals 3D. Mitjançant una taula interactiva equipada amb càmeres i marcadors fiducials situats a la base de figures, el sistema reconeix els objectes físics i mostra el seu equivalent digital en pantalla. L’usuari pot moure les figures per controlar el model 3D, generar interaccions entre personatges o combinar elements físics per activar accions digitals específiques.
Enllaç a notícia projecte: https://cavi.au.dk/cases/lego-out-of-the-box
(En aquest article hi ha un vídeo demostratiu on es veu l’experiència d’usabilitat)
2.-) Reactable és un instrument musical electrònic amb una interfície tangible desenvolupat pel Music Technology Group de la Universitat Pompeu Fabra de Barcelona. El sistema consisteix en una taula interactiva sobre la qual es col·loquen blocs anomenats tangibles. Cada peça representa un mòdul d’un sintetitzador analògic (oscil·ladors, filtres, seqüenciadors, etc.), en ser col·locada sobre la superfície, és reconeguda mitjançant visió artificial i marcadors fiducials.
Enllaç a pàgina projecte: https://reactable.com
3.-) Connected Art és una iniciativa impulsada per l’Ajuntament de Saragossa que transforma els carrers de la ciutat en un museu interactiu mitjançant Realitat Augmentada. A través de dispositius mòbils i codis QR situats en diferents punts urbans, els usuaris poden accedir a experiències digitals vinculades a l’art urbà i la cultura local.
Enllaç a pàgina projecte: https://imascono.com/en/connected-art-project
4.-) Warpoint és una experiència de realitat virtual situada a Barcelona provinent de l’oest d’Europa, on es combina tecnologia VR amb desplaçament físic real en un espai ampli. A diferència de les experiències domèstiques de realitat virtual, aquí l’usuari pot caminar lliurement per un escenari físic que està sincronitzat amb l’entorn virtual.
Enllaç a pàgina projecte: https://barcelona.warpoint.es
5.-) L’exoesquelet ABLE és un dispositiu robòtic dissenyat per ajudar persones amb dificultats de mobilitat a recuperar o millorar la capacitat de caminar. Es tracta d’un exoesquelet lleuger que s’adapta a les extremitats inferiors i que assisteix el moviment mitjançant motors i sensors que detecten la intenció de pas de l’usuari.
Enllaç a pàgina projecte: https://www.ablehumanmotion.com
6.-) ASSOCIATE és un projecte d’investigació centrat en la rehabilitació en persones amb ictus o lesions medul·lars. La proposta combina descodificació de l’activitat cerebral, estimulació sensorial i l’ús d’un exoesquelet per potenciar la recuperació motora.
Enllaç a pàgina projecte: https://bmi.umh.es/portfolio-item/associate/
7.-) BruumRuum! és una instal·lació interactiva ubicada a la Plaça de les Glòries de Barcelona, prop de la Torre Agbar i del Museu del Disseny. Dissenyada per David Torrents i Maurici Ginés (artec3 Studio), consisteix en una escultura lumínica formada per 522 LEDs RGB integrats al paviment.
Enllaç a pàgina projecte: https://artecstudio.net/BruumRuum/
Ara que ja coneixem els set projectes seleccionats, passem a establir una anàlisi comparativa que permeti identificar les seves característiques principals i valorar-ne la rellevància dins l’àmbit de la interacció tangible. Per tal de facilitar aquesta visió global he elaborat una taula comparativa que classifica els projectes segons diversos criteris. Aquesta classificació permet detectar patrons comuns, diferències conceptuals i graus d’innovació entre les propostes analitzades.
Després d’aquesta anàlisi comparativa, he decidit seleccionar Reactable per analitzar en profunditat del següent apartat. Dintre del context de l’assignatura és el que més s’adapta a l’anàlisi, ja que té una estructura tecnològica ben definida i documentada. A més, combina dimensió artística, disseny d’interacció i arquitectura tècnica, fet que permet abordar de manera completa els aspectes requerits. Tot seguit analitzaré de forma més breu el que he tractat a la memòria.
Reactable és un instrument musical electrònic amb interfície tangible desenvolupat pel Music Technology Group de la Universitat Pompeu Fabra de Barcelona. El projecte neix en un context de recerca en noves formes d’interacció musical, amb la voluntat d’explorar alternatives als instruments electrònics tradicionals i als entorns de producció musical basats en pantalla i teclat.
En aquell moment (2007), molts sistemes de síntesi sonora digital requerien coneixements tècnics avançats i interfícies complexes poc accessibles per al públic general. Davant d’aquesta situació, Reactable es planteja com una proposta que combina art, tecnologia i recerca en interacció tangible per fer més intuïtiva la creació musical digital.
Seguint pas a pas com unes instruccions així podem descriure el seu funcionament tècnic bàsic:
– Cada objecte tangible incorpora un marcador fiducial a la seva base.
– Una càmera situada sota la taula detecta la posició i rotació d’aquests marcadors.
– El programari reacTIVision interpreta la informació captada per la càmera.
– Les dades es transmeten mitjançant el protocol TUIO* al motor de síntesi sonora.
– El sistema genera el so corresponent i projecta sobre la taula una visualització dinàmica de les connexions i formes d’ona.
El Reactable integra diverses tècniques tecnològiques que s’emmarquen dins del marc de l’assignatura. A continuació, els analitzaré segons la seva naturalesa i funció dins el sistema.
[ Visió artificial ] Una de les tècniques principals del Reactable és la visió artificial. El sistema utilitza una càmera situada sota la superfície translúcida per detectar els marcadors fiducials col·locats a la base dels objectes tangibles. El programari reacTIVision interpreta la posició (coordenades cartesianes) i la rotació de cada marcador, identificant quin mòdul representa i quins paràmetres s’han modificat. Aquesta tècnica permet transformar la manipulació física en dades digitals interpretables pel sistema.
[ Dispositius electrònics ] Reactable té integrats diversos dispositius electrònics tals com:
– Càmera digital (captura d’imatge)
– Projector de vídeo (feedback visual)
– Sistema d’àudio (sortida sonora)
– Ordinador central (processament)
Aquests elements funcionen de manera coordinada per generar una experiència interactiva en temps real.
[ Àudio ] El processament d’àudio és l’element central del projecte. El Reactable funciona com un sintetitzador modular digital que genera i modula so en temps real. Els mòduls tangibles representen elements clàssics d’aquest tipus de síntesi sonora:
-Oscil·ladors (generació de freqüència)
-Filtres (modificació del senyal)
-LFOs (modulació)
-Seqüenciadors (control rítmic)
[ Comunicació i tractament de dades ] El Reactable utilitza el ja mencionat protocol TUIO per comunicar la informació detectada per reacTIVision al motor de síntesi sonora i al sistema de visualització. Aquesta comunicació permet:
– Enviar dades de posició i rotació en temps real.
– Sincronitzar visualització i so.
– Mantenir un flux d’informació continu entre detecció i resposta.
[ Interacció tàctil ] Tot i que no utilitza ratolí o joystick tradicionals, el Reactable incorpora interacció multitàctil directa sobre la superfície de la taula. Els dits funcionen com a dispositius apuntadors naturals que permeten modificar paràmetres visuals i sonors.
El disseny d’interacció del Reactable es basa en la manipulació directa, on l’usuari interactua amb els tangibles físics que representen funcionalitats digitals. Aquesta aproximació elimina la intermediació d’interfícies tradicionals (ratolí, teclat o menús complexos) i estableix una relació auditiva i visual immediata entre acció i resposta.
Aquest diagrama de flux representa el funcionament intern del Reactable com un sistema reactiu en temps real basat en la detecció contínua d’esdeveniments. El procés s’inicia amb la captura constant d’imatges de la superfície de la taula mitjançant una càmera inferior. Aquestes imatges són processades pel sistema de visió artificial.
Quan es detecta un canvi el sistema classifica el tipus d’acció i actualitza el model intern de síntesi modular. A continuació, es recalculen les connexions entre tots els mòduls actius segons la seva proximitat i configuració espacial. En cas que existeixin connexions, s’aplica la modulació corresponent entre mòduls per processar-ho i donar feedback sensorial.
Podem valorar diferents aspectes de la usabilitat del Reactable tals com la facilitat d’aprenentatge, eficiència, feedback, gestió d’errors i experiència col·laborativa. Tot i tractar-se d’un sistema basat en síntesi modular el seu disseny tangible simplifica considerablement l’experiència d’ús.
Des del meu punt de vista, el Reactable em sembla una forma molt creativa i innovadora de generar música on qualsevol persona pot gaudir del procés. Tant pot ser atractiu per a professionals amb coneixements musicals (que poden controlar-lo amb més profunditat) com per a persones sense experiència prèvia, que simplement interactuant generaran una melodia única. Aquesta capacitat de convertir l’experimentació en música real em sembla especialment divertida i estimulant.
També m’agrada molt la seva dimensió com a espai col·laboratiu. El fet que diverses persones puguin interactuar alhora fa que tots els participants es converteixin en part activa de la composició. Això genera una experiència molt més natural, orgànica i experimental que la producció musical tradicional basada en pantalles i programes tancats, on la interacció acostuma a ser individual.
Tot i això, considero que s’ha d’entendre com una alternativa als programes de producció musical, però no com un substitut directe. No ofereix el mateix nivell de control tècnic o detall que un programari professional. A més, encara que existeix una versió mòbil que permet familiaritzar-se amb el sistema, l’experiència no és comparable amb la taula física, ja que es perd la dimensió tangible i col·laborativa. També cal tenir en compte que transportar tota la infraestructura física pot resultar complex i poc portable.
Pel que fa a possibles evolucions del projecte, crec que té molt potencial d’expansió. En primer lloc, artísticament seria molt interessant ampliar els efectes visuals d’interacció. Per exemple, convertir l’espai on es troba el Reactable en un entorn immersiu sincronitzat amb la música generada: projeccions a les parets, il·luminació reactiva o visuals generatius que amplifiquin l’experiència sonora. Això podria transformar-lo en una experiència audiovisual completa.
També es podria explorar la integració de realitat augmentada per afegir capes visuals virtuals (VFX) que només es poguessin veure amb dispositius específics, enriquint encara més la dimensió interactiva. Una altra idea que em sembla especialment potent seria adaptar el sistema a una formació musical de banda: bateria, baix, guitarra i veu, on cada músic utilitzés un Reactable personalitzat amb una llibreria sonora específica. També es podria integrar tot en una sola taula amb peces tangibles diferenciades per instrument.
En definitiva, considero que el Reactable és un gran exemple d’interacció tangible aplicada a la música. No és només un instrument ni només un sistema de producció musical, sinó una peça d’enginyeria pensada per apropar la creació sonora al major nombre de persones possible. Em sembla una proposta innovadora que combina art, tecnologia i experiència col·laborativa, i que demostra com una bona interfície pot canviar completament la manera d’entendre i viure la música.
Aquest és un espai de treball personal d'un/a estudiant de la Universitat Oberta de Catalunya. Qualsevol contingut publicat en aquest espai és responsabilitat del seu autor/a.
Debatcontribution 0el PAC1 — Interacció tangible (àmbit joc)
No hi ha comentaris.
Heu d'iniciar la sessió per escriure un comentari.