Comparación de dispositivos de entrada y visualización de proteínas
por Elke Moritz, Thomas Wischgoll and Joerg Meyer
Traducido por Pablo Cayuela
Introducción
Para la visualización de proteínas, es indispensable la interacción con el modelo mostrado para entender la estructura tridimensional de la proteína. Por consiguiente, es crucial un diseño eficiente de la interfaz de usuario. Existe un gran número de dispositivos de entrada, tanto en 2D como en 3D, y una gran variedad de dispositivos de salida, que se utilizan normalmente para la exploración de grandes estructuras de datos 3D. Desafortunadamente, no todas las combinaciones de entrada y salida trabajan en conjunto de una manera adecuada y útil, ya sea porque no tienen capacidad de ingreso en 3D, o por ejemplo, porque necesitan una base de superficie dura para trabajar apropiadamente, haciendo impracticable su capacidad de navegación 3D. Por ejemplo, en una pantalla estereoscópica grande, donde se requiere inmersión y libertad de movimiento del usuario, tal dispositivo lo obligaría a estar en un posición fija.
El propósito de este estudio es proveer un relevamiento de la tecnología disponible para identificar combinaciones de entrada y salida que hayan probado su buen funcionamiento en conjunto. El análisis identifica las capacidades y limitaciones de cada tecnología. Aun cuando puedan tener, por ejemplo, suficientes grados de libertad, explicamos por qué algunos dispositivos de entrada no son adecuados para realizar ciertas tareas, o cómo pueden reemplazarse por dispositivos más apropiados que permitan un enfoque de resolución más fácil y eficiente.
Además del relevamiento, se ha realizado el estudio de un caso de visualización de proteínas. El caso ha sido elegido porque incorpora tareas de navegación complejas, requiere entradas de usuario de múltiples grados de libertad, y se beneficia de un sistema estereoscópico grande de visualización 3D de alta resolución. Estos requisitos son típicos en muchas aplicaciones científicas de visualización así como en juegos, siendo estos últimos la fuerza impulsora del desarrollo de soluciones de realidad virtual (VR: Virtual Reality) de buena relación entre costo y eficiencia.
Dispositivos de entrada de múltiples grados de libertad
En muchas aplicaciones de realidad virtual (VR), es necesario que el software facilite seguimiento de múltiples grados de libertad (DoF: degree-of-freedom) de la interación con el usuario. Normalmente los sensores o controles de un sistema de seguimiento proveen información de la posición y orientación del dispositivo de entrada en un espacio 3D, donde la posición está dada por las coordenadas x, y, z, y donde los ángulos para el rolido (rotación sobre el eje x), el cabeceo (sobre el eje y), y la guiñada (sobre el eje z), especifican la orientación. Dado que no todas las aplicaciones incorporan los seis grados de libertad, los dispositivos de entrada con menos grados pueden ser mas apropiados para algunas tareas específicas.
Los dispositivos de entrada para interacción 3D fueron clasificados primero en [11]. Se hizo un intento de formalizar el diseño, evaluación y aplicación de las técnicas de interacción en entornos inmersivos, en [3], al tiempo que se compiló una taxonomía para el diseño de interfaces 3D, en [10].
Dispositivos para uso de sistemas de seguimiento de seis grados de libertad (6-DoF)
El dispositivo más simple de entrada de seis grados de libertad es probablemente la estilo. Un sistema de seguimiento electromagnético integrado, provee la información deseada sobre la posición y orientación de la punta de la estilo, eliminando en la mayoría de los casos la necesidad de un cursor, es decir, el objeto virtual usualmente puede 'tocarse', asirse y llevarse directamente con el dispositivo. Debido a la analogía natural, incluso usuarios sin experiencia en VR, toman intuitivamente la estilo y la usan como una lapicera o puntero láser, y pueden asir un objeto virtual mediante la presión de un botón simple en la estilo con el dedo índice. La estilo se puede colocar en un dispositivo de seguimiento con realimentación de fuerza montado sobre una mesa (por ej. el PHANTOM Omni de SensAble Technologies, Inc.).
Los guantes de datos (Data gloves) proveen al usuario de una manera intuitiva y sofisticada para asir objetos, y, con ciertas limitaciones, algo de reconocimiento de gestos. Algunos guantes tienen sensores resistivos de tensión para cada dedo. Los tipos más básicos tienen simplemente contactos metálicos montados por cada dedo, permitiendo asir entre dedos de manera simple (Pinch gloves), empleados para metáforas de interacción como "tome y mueva" y "tome y rote". Aunque teóricamente son posibles un gran número de combinaciones para tomar objetos, ergonómicamente solo son realizables un número limitado. Particularmente, nuestra experiencia nos ha mostrado que la utilización de muchas combinaciones para tomar objetos o gestos no naturales, normalmente confunden al usuario.
El dispositivo de seguimiento se monta usualmente en la parte de atrás de los guantes de tela, lo que provoca una pequeña diferencia de posición entre las yemas de los dedos que toman el objeto virtual y el sistema de seguimiento. Esto puede causar que el objeto real quede ocluido por la mano, haciendo necesario el uso de un cursor virtual si se requiere una navegación precisa. Si un objeto tomado se mueve o rota, el centro de rotación es usualmente la muñeca de la mano que lo toma. Sin embargo, en la mayoría de las aplicaciones se usa la posición del sistema de seguimiento en vez de la de la muñeca, provocando una pequeña discrepancia entre el punto de pivote de la muñeca y la posición real del sistema de seguimiento como centro de rotación. Puede ser necesario técnicas adicionales para el control de dos cursores independientes [21] para interacción bimanual o colaborativa.
Los guantes de agarre o manipulación (Pinch gloves) son muy adecuados para entornos de escritorio o mesa, para interacción con bancos de trabajo virtuales o pantallas de visualización simple ([15], [7], y [17]), que permite manipular objetos al alcance de la mano, pero también para sistemas de proyección de pantalla grande, dado que los cables conectados al dispositivo de seguimiento usualmente no limita la libertad de movimiento. Se están desarrollando algunas soluciones sin cables.
Dispositivos sin sistemas adicionales de seguimiento
Los ratones y trackballs se usan comúnmente con una mano para interacción del tipo "arrastre y suelte" y "cliquee y rote" en ambientes 2D de escritorio, donde la otra mano se usa para la activación de funciones adicionales (como el acercamiento en z, por ejemplo) a través de modificadores de la operación, con el teclado.
Las palancas de juego (joysticks) también son dispositivos de entrada comunes para navegación en entornos 2D de escritorio. Mientras que con una mano se mueve la palanca en 2D y se presiona los botones en ella, con la otra mano se sostiene el dispositivo y se manipulan otros botones y válvulas en la base. Dos de las tres direcciones de traslación o rotación (x, y, z) pueden elegirse y mapearse al movimiento de la palanca de juegos. Algunos modelos permiten la rotación de la palanca sobre el eje, agregando un grado de libertad más. Estos grados adicionales se pueden activar mediante la presión de un botón en la palanca o en el teclado.
Los volantes se emplean usualmente solo en aplicaciones que ostenten una analogía con tal instrumento, donde se mueve la vista y no se manipula o toma ningún objeto. La navegación en un mundo virtual como este, es intuitiva para tareas de exploración de entornos y mundos virtuales grandes, pero no es adecuada para metáforas de espacios o escritorios virtuales, donde el énfasis se pone en la explotación y manipulación de objetos. Debido a su tamaño, peso y diseño los volantes deben colocarse sobre una mesa.
Los mandos de videojuego pueden proveer
más flexibilidad que la de los dispositivos antes
mencionados. Por ejemplo, el gatillo y el jog shuttle del
mando del Nintendo 64, permiten al usuario tomar y manipularla de
manera similar a un control remoto, apuntando en la
dirección de la pantalla. Aunque estos dos controles solo
proveen manipulación de una dimensión, puede montarse
fácilmente un sistema de seguimiento adicional en un extremo
del dispositivo, de modo que el objeto virtual o el origen del
mundo puede trasladarse de acuerdo con la orientación del
gatillo en la dirección de la posición del
dispositivo o rotado mediante el jog shuttle.
En años recientes, las consolas de video se han convertido en el dispositivo de juegos por opción. Vienen en versiones con cables e inalámbricas, e incorporan hasta dos palancas analógicas y una digital más deslizadores, proveyendo varios ejes que constituyen numerosos grados de libertad. Usualmente poseen cuatro o más botones ubicados en la parte superior del dispositivo, accesibles con el pulgar durante la interacción, y otros cuatro en el frente, al alcance de los dedos índices y medios. Una consola de video es similar a una palanca de juego, en términos de la funcionalidad y su programación. En ambos casos, se pueden elegir dos de tres grados de libertad para controlarlos con un dispositivo de entrada esencialmente bidimensional (palanca, consola digital 2D). La navegación puede adaptarse fácilmente al hábito y a las preferencias del usuario, dado que es muy simple elegir entre una variedad de modos de navegación y funciones de teclado en el dispositivo de interacción.
Figura 1: (a) El dispositivo PHANTOM Omni de SensAble Technologies, Inc., (b) Palanca de juegos Microsoft SideWinder Force Feedback Pro, (c) Rueda Microsoft SideWinder Force Feedback, (d) controlador modificado Nintendo64, (e) el Logitech© WingMan® Cordless Rumblepad.
Coordinación visual y manual
Para tareas de exploración y manipulación, los dispositivos de escritorio emplean un modo de navegación indirecto, esto es, el usuario mira la pantalla, no el dispositivo, y navega con el cursor en la imagen mediante el dispositivo. En entornos 2D de escritorio, mucha gente se adapta rápidamente a este paradigma de coordinación visual y manual. En un entorno virtual 3D (VE: Virtual Environment), sin embargo, parece más difícil adaptarse a la separación del movimiento de la mano y su respuesta visual. Estudios preliminares han mostrado que muchos encuentran más intuitivo si pueden interactuar directamente con el objeto que con métodos indirectos. Los mandos de los juegos de video no necesitan usarse sobre una mesa o escritorio y por lo tanto pueden seguir los movimientos del usuario, permitiendo la manipulación directa en entornos inmersivos 3D de manera similar a la estilo o los guantes.
Visualizadores
Un entorno virtual (VE: virtual environment) se caracteriza por el modo de mostrar la información. El despliegue mono o estereoscópico proveen al observador la percepción de profundidad e inmersión en el mundo virtual. El grado de inmersión depende del tipo de proyección y la naturaleza de la información que se quiere visualizar. En general, un tamaño de visualizador grande permite que muchos usuarios investiguen en conjunto los modelos virtuales, dado que la observación del modelo no depende del seguimiento de un usuario individual en un entorno virtual.
Sistemas de proyección de pantalla múltiple
El CAVE fue la primera implementación disponible de pantalla múltiple para grandes entornos virtuales [6]. Este es un sistema de realidad virtual con pantalla de proyección múltiple, con cuatro a seis pantallas que conforman un cubo para inmersión total. La disposición más común consiste en tres paredes y un piso. La gran ventaja del CAVE, es el hecho de que permite la exploración colaborativa de varios grandes objetos a través de la navegación y manipulación dentro de un mundo virtual inmersivo. Los observadores navegan la escena virtual moviéndose de manera natural dentro del cubo, mientras su campo de visión está completamente cubierto por las imágenes proyectadas.
Sistemas de proyección de una pantalla (SSPB: Single-screen projection-based)
Sistemas tales como el Responsive Workbench (RWB) [15], el ImmersaDesk® de Fakespace System, PowerWalls e Infinity Walls [8] constan de una pantalla, normalmente de varios centímetros de diámetro, que se coloca en un ángulo variable. Estos visualizadores de modelos virtuales (VMDs: Virtual Model Displays), no tienen inmersión total, pero garantizan una excelente presencia del objeto. Mientras el ImmersaDesk® utiliza una superficie de disposición casi vertical, el RWB usa una metáfora de mesa, en la que los objetos aparecen yaciendo sobre la superficie de ella. Esto asegura un fácil acceso para interactuar con los datos y permite que una interfaz simple sea compartida por varios usuarios. El campo visual está limitado a las dimensiones de la pantalla.
Visores montados en la cabeza (HMDs: Head Mounted Displays)
Estos visores se utilizan principalmente en aplicaciones de realidad ampliada (augmented reality). Algunos modelos se instalan en cascos muy pesados para usarlos por mucho tiempo, mientras otros ofrecen visores similares a anteojos. No todos estos visores permiten una visión estereoscópica; no son óptimos para todo entorno virtual debido a su limitado campo visual, baja resolución y limitación a un solo usuario. Dado que se necesita sincronización precisa, los entornos de trabajo colaborativos no emplean estos visores.
Figura 2: (a) Un usuario en un entorno inmersivo de tipo CAVE (sistema COVE en el Centro de investigación en ingeniería en la Mississippi State University), usando (b) Virtual Workbench y (c) un visor montados en la cabeza (HMD)
Sistemas de proyección matricial
La mayoría de los sistemas de proyección de una pantalla tienen una resolución más bien limitada. Por ello, un sistema de visualización de 9 proyectores (o más), formando en este caso una matriz de 3x3, brinda una resolución mucho mayor que una pantalla convencional[20]. Dado que las imágenes se proyectan matricialmente sobre una superficie cualquiera, las áreas de superposición deben alinearse [4] [5], y la variación de temperatura de color y brillo deben eliminarse por medio del ajuste de luminancia [16].
Sistemas matriciales LCD
Los sistemas matriciales LCD [13], en matriz de 3x3, son una alternativa que ahorra espacio, pero no permiten la visión estereoscópica y no se comparan con los entornos inmersivos, ya que su pequeño tamaño y sus características técnicas impiden su uso en una configuración de pantalla envolvente.
Figura 3: (a) y (b) Sistema de proyección matricial de 3x3, (c) Matriz LCD 3x3
Observaciones preliminares
En un entorno de visualización 3D, no es práctico, una combinación de dispositivos de entrada que necesitan un escritorio con espacios abiertos grandes e inmersivos. Además, la combinación de dispositivos de entrada de naturaleza 2D con visores estereoscópicos, no emplea todas las capacidades de un entorno de realidad virtual.
Los dispositivos de entrada que se pueden utilizar en espacios abiertos con una mano o con ambas, parecen ser los más adecuados para entornos 3D. Los sistemas mixtos, como el Responsive Workbench, combinan el paradigma de la mesa con la visualización estereoscópica. Sin embargo, un ratón o palanca 2D, a pesar de ser de escritorio, no son adecuados debido a su falta de manejo de múltiples grados de libertad, y porque no restringen al usuario a la superficie de la mesa o a una ubicación particular de ella.
En general, si la tarea del usuario incluye en elegir y tomar objetos, los métodos directos, como los guantes o el arrastre mediante la estilo, son preferibles sobre los indirectos de movimientos inconexos entre la mano y su visión. Dependiendo de la forma del dispositivo de entrada, puede ser útil en tareas de navegación de precisión, un cursor o puntero asociado para la elección de objetos.
Aplicación para la visualización de proteínas
El propósito de estudio de este caso, es explorar varios paradigmas de interacción 2D-3D y su utilidad para analizar la estructura 3D de proteínas, tarea que requiere de navegación 3D, es decir, traslado y rotación sobre los ejes x, y, z. Además, la elección de objetos con un botón u otro método similar, es necesaria para la manipulación de muchos objetos. Estas tareas, se han elegido debido a que son típicas en la mayoría de las aplicaciones de realidad virtual.
Trabajos relacionados
Mientras antes se ha explorado la estructura de moléculas rudimentarias en entornos virtuales ([17] y [1]), en años recientes recién se dispone de un gran número de conjuntos de datos de estructuras 3D de macromoléculas. Estos están disponibles en el Banco de Datos de Proteínas [2]. Kinemage [18], RasMol [19], VMD [12], PyMOL [9], y MolScript [14] son paquetes de software para la visualización de moléculas. La mayoría se concentra en la visualización de la estructura de una molécula con interacción con un ratón y teclado tradicionales. Nosotros le agregamos módulos nuevos a MolScript, que comúnmente se usa para generar vistas de alta calidad para publicaciones impresas, y mejoramos el programa para interacción en realidad virtual y opciones para exploración comparativa de varios conjuntos de datos de macromoléculas en una gran diversidad de entornos virtuales (VEs) en tiempo real.
La estructura determina la función
La visualización de proteínas ha sido elegida porque es un típico ejemplo donde una aplicación con visualización múltiple de un objeto desde varios ángulos o puntos de vista, puede conducir a nuevos descubrimientos y un mejor entendimiento de cómo la forma determina la función.
Las proteínas se ensamblan en una secuencia de 20 aminoácidos con diferentes propiedades físicas, entre ellas, la masa, el área, el volumen, su solubilidad y la densidad. El orden de estos bloques constructivos determina la estructura 3D de la macromolécula. Las interacciones atómicas, las características químicas (la polaridad, su ph, su hidrofobia o hidrofilia), y las reglas estructurales de espaciado entre átomos y el largo de los enlaces, juegan un rol importante. Dado que la secuencia determina la estructura, también lo hace con la ubicación de los puntos de enlace que son necesarios para realizar tareas específicas. Si la secuencia se cambia, y con ella la estructura, los puntos de enlace se vuelven disfuncionales o inaccesibles, provocando la pérdida o alteración de la funcionalidad.
Esta relación entre la estructura y la función, puede explorarse mejor mediante la generación de visualizadores 3D de alta calidad y proveyendo una interfaz de navegación intuitiva que permita una inspección de detalles específicos en profundidad.
Para un análisis de cerca de la estructura de una proteína en 3D, es necesario mover y rotar libremente la estructura, con la posibilidad de explorar el objeto desde cualquier ángulo y distancia. Dado que las macromoléculas con estructuras similares por lo general tienen funciones parecidas, es un requisito hacer una exploración comparativa de estructuras relacionadas, que permita un examen cuidadoso de similitudes y diferencias, mediante una comparación visual simultánea o una superposición, que puede brindarnos información importante para entender la relación entre estructura y función.
Representaciones moleculares
Las representaciones de alambre y segmentos, de esferas y segmentos, o las de espacio lleno (CPK), proveen detalles de la estructura, incluyendo información sobre el volumen, tamaño, forma y superficie. Los modelos esquemáticos abstractos pueden describirse con dibujos, que facilitan la identificación de patrones específicos compuestos por hojas β (flechas), hélices α (cilindros, hélices), y bucles (lazos). Dado que los diferentes modelos enfatizan distintos aspectos de la estructura, es indispensable una representación según el caso, para un análisis que incluya las características de la estructura y la superficie de la molécula.
Figura 4: Exploración de representaciones de esferas y segmentos, y dibujos.
Exploración de proteínas
La visualización de proteínas se centra en la exploración de varias estructuras moleculares grandes en tiempo real en un entorno virtual inmersivo. Esto permite al usuario comparar varias estructuras complejas simultáneamente o superponerlas, y moverlas libremente dentro del espacio virtual de trabajo, para revelar detalles que de otra manera quedarían ocultos. Esto, debido al hecho de que ciertas perspectivas u orientaciones del modelo impedirían el reconocimiento de características especiales.
Las tareas necesarias para un análisis de moléculas complejas son más fáciles mediante realidad virtual que con el método más común de las proyecciones 2D estáticas o dinámicas de una sola perspectiva. Ya que los objetos virtuales pueden taparse entre sí, imposibilitando su elección mediante un punto específico en su superficie, las metáforas de interacción tienen que adaptarse para permitir la navegación intuitiva. Esto implica que deben proveerse de varios métodos de elección y movimiento de objetos. Por ejemplo, el centro de rotación puede cambiarse del punto elegido al centro del objeto (o incluso a otro arbitrario en el espacio), aunque cuanto más cerca del centro de gravedad, más natural y menos confusa será la navegación para el usuario.
Dispositivos de entrada
Para nuestro estudio, analizamos varios tipos de dispositivos de entrada para determinar su idoneidad para la exploración de las características de las estructuras 3D de las proteínas.
Dado que nuestra aplicación no empleó una
metáfora de manipulación, pero necesitaba
interacción 3D, el volante no fue adecuado. El PHANTOM Omni,
con su limitado radio de acción, también
resultó inapropiado, especialmente porque nuestra
implementación se centró en la visualización y
la exploración, y no incluyó ninguna
simulación de fuerzas físicas, eliminando la
necesidad de realimentación.
Durante el desarrollo de la aplicación, usamos el
ratón para propósitos de depuración en nuestra
estación de trabajo. Para pruebas cortas esto fue
suficiente, pero no para inspección completa y de cerca de
los detalles del modelo 3D. El ratón está
también limitado al escritorio y por ello no pudo usarse
parado frente a pantallas grandes alejadas del escritorio. El mismo
problema ocurre con la palanca de juegos. Además, los
modelos más grandes que tienen realimentación de
fuerza, son más pesados y es necesario colocarlo en una
mesa.
La estilo fue apropiada para tomar o "tocar" moléculas en una configuración inmersiva donde los modelos 3D parecen flotar frente al usuario. La estilo puede moverse libremente en el espacio. Si se presionó el botón en una posición particular, la molécula más próxima queda tomada y sigue el movimiento de la estilo. El único botón de la estilo limitó el número de funciones que el usuario podía acceder directamente e hizo necesario el uso de un menú adicional.
El dispositivo de Nintendo64 brindó más flexibilidad que la estilo. Pero aunque permite manejar hasta 14 botones (6 grandes en el manipulador, 4 pequeños debajo y 4 más en el jog shuttle), no todos son ergonómicos. Los usuarios de nuestro grupo de interés, tuvieron que fijarse muchas veces al dispositivo para ubicar los botones y tuvieron problemas para recordar la función que cumplía cada uno, ya que todos se parecen y no fueron marcados como en la mayoría de las consolas de juego. Dado que todo esto es fuente de confusión para algunos usuarios, solo se usaron algunos botones. Para asegurar la manipulación intuitiva, asignamos las mismas funciones a varios botones. Esto lo hicimos en otro experimento. Con esto, los usuarios pueden usar los botones en el manipulador con su mano dominante pero también los adicionales con la otra.
Las consolas de juego exhiben un diseño más
equilibrado y ergonómico. Las manos de los usuarios siempre
están en la misma posición, los pulgares operan las
palancas analógicas y digitales y los botones superiores, y
el índice y el mayor descansan sobre los botones del frente.
Todos están numerados o rotulados con un símbolo.
Esto hace que sean fáciles de usar y recordar sus
funciones.
Usamos una consola inalámbrica que facilitó los
movimientos del usuario, especialmente frente a pantallas grandes.
En un entorno inmersivo 3D, los usuarios en nuestro grupo de
interés tienden a caminar alrededor de los modelos de
proteínas en 3D, acercarse a la estructura y mirar a
través de las formas de barriles y hélices. La
consola inalámbrica facilitó para el grupo, las
caminatas en un pequeño espacio y pasársela a otro
sin que se enreden con cables.
El diseño ergonómico de la consola también nos permitió asignar un gran número de funciones y grados de libertad a sus muchos botones y ejes de acuerdo a las preferencias individuales, lo que hizo de la consola el dispositivo más flexible y fácil de usar en nuestras pruebas.
Finalmente, también usamos un par de guantes de agarre para explorar las estructuras de las proteínas. Con los guantes, asir y mover las estructuras 3D se vuelve natural para los usuarios, ya que los objetos virtuales pueden manejarse como los reales. Esto anda muy bien en entornos inmersivos donde el modelo virtual parece flotar, pero en los no inmersivos, donde no se puede tocar o tomar un objeto, los guantes no muestran ventaja alguna sobre otros dispositivos de múltiples grados de libertad. Ya que juntar los dedos pulgar e índice para tomar un objeto es intuitivo para la mayoría de los usuarios, otras funciones asociadas con combinaciones de agarre menos comunes, probaron ser algo extrañas, y por ello difíciles de recordar. Esto limitó el número de funciones que se pueden usar directamente (sin menú).
| Dispositivos | Inalámbrico | De escritorio | Manos | Realimentación |
| Estilo | No | No | 1 | - |
| Guantes de agarre | No | No | 1 o 2 | - |
| PHANTOM Omni | No | Sí | 1 | Fuerza |
| Ratón | Opcional | Sí | 1 | - |
| Palanca de juegos | No | Sí | 2 | Fuerza |
| Volante | No | Sí | 2 y un pie | Fuerza |
| Mando de Nintendo64 | No | No | 1 o 2 | - |
| Consola de juego | Opcional | No | 2 | Ruido |
Tabla 1: Solo los ratones y las consolas se consiguen inalámbricas para interacción cómoda. Muchos dispositivos deben usarse sobre una mesa, algunos con una mano, otros con las dos. Algunos tienen realimentación de fuerza o ruido.
Visores
En general, la elección del tipo de visualización depende de los requisitos específicos de las tareas de navegación. Entornos virtuales totalmente inmersivos como los bancos de trabajo o CAVEs son convenientes para las tareas de exploración colaborativa conducidas por pequeños grupos de usuarios, que quieran caminar alrededor de las estructuras 3D e inspeccionar detalles de un objeto en vistas de cerca. Solo con la inmersión total en un entorno estereoscópico, los usuarios pueden experimentar la complejidad de la estructura 3D de una proteína en toda su extensión.
Las novedosas pantallas matriciales proveen mucha más resolución para la visualización con alto detalle, y mayor claridad y precisión. No todas estas pantallas son estereoscópicas ni completamente inmersivas en consecuencia. Las pantallas de alta resolución son, por supuesto, deseables, pero no siempre accesibles.
La visión 3D es una buena solución para superar el desorden de la pantalla, aun cuando el número de píxeles es similar a las de 2D. Mediante el agregado de una tercera dimensión, los objetos de baja prioridad pueden empujase al fondo, eliminando así la ambigüedad de la operación de ampliación visual en una visión plana (tamaño vs. distancia).
Figura 5: La estructura 3D de la enzima Glutamina Sintetasa (2GLS) tal como se la ve en una imagen plana, en una proyección matricial y en una LCD matricial.
Algunas pantallas grandes o de pared permiten una
configuración de centro de comando, donde el usuario se
sienta en un escritorio a unos centímetros de la pantalla, y
usa el ratón o la palanca para interactuar con la
aplicación. Esto no es práctico porque muchas
personas se paran en frente de la pantalla, bloqueando la
visión desde el centro de comando.
Por eso, los dispositivos de entrada que no necesitan la superficie
de una mesa, son más adecuados para las exploraciones
colaborativas de proteínas en pantallas grandes.
Nuestro estudio mostró que la configuración
óptima de visualización que utilizó las
capacidades de los guantes fueron los bancos de trabajo virtuales,
donde las moléculas pueden colocarse e inspeccionarse en un
entorno de trabajo virtual, y los usuarios pueden alcanzarlos a
través de una visión de mesa horizontal en 3D.
Aunque la estilo también anduvo bien con estas pantallas, se
pudo asignar más funciones al guante que al botón
único de la primera.
Los usuarios toman intuitivamente el control de Nintendo64 como un control remoto contra la pantalla vertical. Esto anda bien en pantallas grandes, matriciales y en CAVE. Sin embargo, como se dijo antes, el manejo de este mando, no es tan intuitivo como el de una consola de juegos, y ya que la versión inalámbrica permite moverse con libertad, este último supera a todos los otros dispositivos, especialmente porque es adecuado para todo tipo de pantallas en entornos con disposición vertical u horizontal.
No probamos los dispositivos de interacción con los visores para la cabeza (HMD). Debido a su baja resolución y limitado campo visual, este dispositivo probó ser inadecuado para nuestra aplicación de visualización de proteínas.
|
Visores |
Visión estéreo |
Funciona con dispositivos de escritorio |
| CRT | Posible | Sí |
| Banco de prueba (horizontal o inclinado) | Sí | No |
| Sistema de proyección múltiple (vertical) | Posible | En modo de centro de control |
| CAVE | Sí | No |
| LCD matricial | No | En modo de centro de control |
Tabla 2: No todos los dispositivos son estéreo ni pueden combinarse con un dispositivo de entrada de escritorio.
Conclusiones y trabajos futuros
Hemos presentado un repaso de dispositivos de entrada y sistemas de visualización para la exploración de estructuras de proteínas en entornos virtuales en tiempo real. El propósito de este estudio fue proveer un relevamiento de los dispositivos disponibles y sacar conclusiones con respecto a su utilidad en distintas combinaciones. Para explorar las estructuras 3D de las proteínas, el entorno virtual debe proveer un gran campo visual, preferiblemente de alta resolución, para mostrar tantos detalles de los modelos macromoleculares como sea posible. La inmersión total permite al usuario examinar las estructuras desde diferentes ángulos caminando alrededor de los modelos y moviéndolos con las manos. El empleo de gestos para asir objetos o los dispositivos inalámbricos de diseño ergonómico aseguran una interacción simple e intuitiva con las proteínas virtuales.
La lección aprendida del caso de estudio fue que es necesario hacer corresponder un dispositivo de visualización de alta calidad con tecnología de dispositivos de entrada adecuados. Un visor estereoscópico de alta resolución no puede superar las limitaciones de un dispositivo de entrada de bajo rendimiento en tareas de navegación de precisión. Los dispositivos de entrada junto con los visualizadores permiten al usuario completar una tarea de navegación en un entorno virtual de manera intuitiva y con alta precisión.
En el futuro, la computación ubicua y los entornos de pantallas grandes serán comunes. Tecnologías emergentes como los proyectores de alta resolución, las pantallas planas y las pantallas OLED, harán posible el acceso a la información en cualquier momento y lugar. La navegación interactiva que usa dispositivos de entrada 2D y 3D será un componente crítico de este desarrollo.
Referencias
- 1
- Akkiraju, N., Edelsbrunner, H., FU, P., and Qian, J.: Viewing Geometric Protein Structures from Inside a CAVE. IEEE Computer Graphics and Applications 16, 4, 58-61, 1996.
- 2
- Berman, H. M., Westbrook, J., Feng, Z., Bhat, G. G. T., Weissig, H., Shindyalov, I. N., and Bourne, P. E.: The Protein Data Bank. Nucleic Acids Research 28, 1, 235-242, 2000.http://www.rcsb.org/pdb/
- 3
- Bowman, D. A., and Hodges, L. F.: Formalizing the Design, Evaluation, and Application of Interaction Techniques for Immersive Virtual Environments. The Journal of Visual Languages and Computing 10, 1, 37-53, 1999.
- 4
- Chen, Y., Clark, D. W., Finkelstein, A., Housel, T. C., and Li, K.: Automatic Alignment of High-Resolution Multi-Projector Displays Using an Un-Calibrated Camera. In Proceedings of IEEE Visualization 2000, Salt Lake City, Utah, IEEE Computer Society, 125-130, 2000.
- 5
- Chen, H., Sukthankar, R., Wallace, G., and Li, K.: Scalable Alignment of Large-Format Multi-Projector Displays Using Camera Homography Trees. In Proceedings of IEEE Visualization 2002, Boston, MA, IEEE Computer Society, R. Moorhead, M. Gross, and K. I. Joy, Eds., 339-346, 2002.
- 6
- Cruz-Neira, C., Sandin, D. J., and Defanti, T. A.: Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE. In SIGGRAPH 93 Computer Graphics Conference, ACM SIGGRAPH, Anaheim, 135-142, 1993.
- 7
- Cutler, L. D., Fröhlich, B., and Hanrahan, P.: Two-Handed Direct Manipulation on the Responsive Workbench. In Proceedings of the Symposium on Interactive 3D Graphics, ACM Press, New York, 107-114, 1997.
- 8
- Czernuszenko, M., Pape, D., Sandin, D., Defanti, T., Dawe, G. L., and Brown, M. D.: The ImmersaDesk and Infinity Wall Projection-Based Virtual Reality Displays. Computer Graphics 31, 2, 46-49, 1997.
- 9
- Delano, W. L.: PyMOL. DeLano Scientific LCC, 1998-2004,http://pymol.sourceforge.net/
- 10
- Gabbard, J. L.: A Taxonomy of Usability Characteristics in Virtual Environments. Master's thesis, Virginia Polytechnic Institute and State University, Blacksburg, Virginia, 1997.
- 11
- He, T., and Kaufman, A. E.: Virtual Input Devices for 3D Systems. In Proceedings of IEEE Visualization 1993, San Jose (CA), IEEE Computer Society, 142-148, 1993.
- 12
- Humphrey, W., Dalke, A., and Schulten, K.: VMD - Visual Molecular Dynamics. J. Molecular Graphics 14, 33-38, 1996.
- 13
- Humphreys, G., and Hanrahan, P.: A Distributed Graphics System for Large Tiled Displays. In Proceedings of IEEE Visualization 1999, San Francisco (CA), IEEE Computer Society, 215-224, 1999.
- 14
- Kraulis, P. J.: MOLSCRIPT: A Program to Produce Both Detailed and Schematic Plots of Protein Structures. Journal of Applied Crystallography 24, 946-950, 1991.
- 15
- Krüger, W., and Fröhlich, B.: Visualization Blackboard: The Responsive Workbench (virtual work environment). IEEE Computer Graphics and Applications 14, 3 (May), 12-15, 1994.
- 16
- Majumder, A., and Stevens, R.: Color Nonuniformity in Projection-Based Displays: Analysis and Solutions. IEEE Transactions on Visualization and Computer Graphics 10, 2, 177-188, 2004.
- 17
- Obeysekare, U., Williams, C., Durbin, J., Rosenblum, L., Rosenberg, R., Grinstein, F., Ramamurthi, R., Landsberg, A., and Sandberg, W.: Virtual Workbench: A Non-Immersive Virtual Environment for Visualizing and Interacting with 3D Objects for Scientific Visualization. In Proceedings of IEEE Visualization 1996, San Francisco (CA), IEEE Computer Society, 345-349, 1996.
- 18
- Richardson, D. C., and Richardson, J. S.: The Kinemage: A Tool for Scientific Communication. Protein Science 1, 3-9, 1992.
- 19
- Sayle, R. A., and Milner-White, E. J.: RASMOL: Biomolecular Graphics for All. Biochem. Science 20, 374-376, 1995.
- 20
- Schikore, D., Fischer, R., Frank, R., Gaunt, R., Hobson, J., and Whitlock, B.: High-Resolution Multiprojector Display Walls. IEEE Computer Graphics and Applications 20, 4 (July Aug.), 38-44, 2000.
- 21
- Zeleznik, R. C., Forsberg, A. S., and Strauss, P. S.: Two Pointer Input for 3D Interaction. In Proceedings of the 1997 Symposium on Interactive 3D Graphics, ACM Press, 115-120, 1997.
Elke Moritz (moritz@siggraph.org) es una estudiante de doctorado en la Universidad de Kaiserslautern en Alemania. Actualmente es investigadora invitada en el Centro de Gravedad (Center of GRAVITY :Graphics, Visualization and Imaging Technology) de la Universidad de California, Irvine. Su investigación trata sobre las técnicas para la exploración de conjuntos de datos biomédicos en realidad virtual.
Biografía: Thomas
Wischgoll
Thomas Wischgoll (wischgoll@siggraph.org) es
Profesor Ayudante en la Wright State University, Dayton, Ohio. Sus
intereses de investigación incluyen la visualización
científica así como la visualización de
imágenes biomédicas.
Biografía: Joerg
Meyer
Joerg Meyer (jmeyer@uci.edu) es
Profesor Ayudante en una cátedra compartida por
ingeniería electrónica, ciencias de la
computación e ingeniería biomédica. Sus
investigaciones se concentran en gráficos de computadora,
visualización científica y realidad virtual.
Pablo Cayuela (cayuela@acm.org) es Ingeniero en Sistemas de Información y está terminando la carrera de Ingeniería Electrónica, ambas de la Universidad Tecnológica Nacional, Facultad Regional Córdoba (UTN FRC), Argentina. Sus intereses van de la arquitectura de computadoras a la ingeniería de software, donde la compilación de hardware y la lógica programable juegan un papel fundamental en sus aspiraciones doctorales. Actualmente se encuentra buscando ayuda económica para continuar su carrera académica para convertirse en investigador de tiempo completo. Es miembro de IEEE, IEEE Computer Society, y ACM; ex-presidente de la Rama Estudiantil IEEE UTN FRC, fundador y ex-presidente del Capítulo Estudiantil ACM UTN FRC.





