Seguimiento de Marxx de MxT vs. ARKit: Preguntas y respuestas con el Dr. Ken Moser, PhD

Seguimiento de Marxx de MxT vs. ARKit: Preguntas y respuestas con el Dr. Ken Moser, PhD
Vote!

El ARKit SDK de Apple ha sido un gran éxito entre los desarrolladores, incluidos los de aquí en Marxent. El software es estable, está bien diseñado y facilita mucho la creación de aplicaciones de Realidad Aumentada para la plataforma iOS. Pero si hay un golpe en ARKit, es que el sistema tarda un tiempo relativamente largo para detectar un plano de superficie y generar imágenes en 3D.
"¿Qué tan molesto es la detección de superficie de ARKit para los usuarios?", Preguntó una columna de octubre publicada en AR Critic. La respuesta, según AR Critic, es "realmente molesta". Tanto es así que el proceso de puesta en marcha puede desconectar a los usuarios incluso antes de que lleguen al núcleo de una experiencia de RA. Pero hay una solución, la inicialización instantánea, que es posible emparejando ARKit con el sistema de seguimiento patentado de Marxent, llamado MxT.

Conversé con el doctorado residente de Marxent, el Dr. Ken Moser, el gran cerebro detrás de MxT y su increíblemente rápido proceso de inicio, sobre cómo funciona el seguimiento de AR, qué hace que la solución de Marxent sea única y por qué ARKit es mejor cuando se combina con MxT. Ken era (como siempre) increíblemente amable con su tiempo y sus respuestas. Aquí está nuestra conversación:
Pregunta: ¿Puede explicar brevemente el seguimiento de AR? ¿Qué es? ¿Como funciona?
Ken Moser: El seguimiento, en el sentido técnico, es la localización de uno (o ambos) del desplazamiento traslacional (X, Y, Z) y la orientación rotacional (balanceo, paso, guiñada) de un objeto, con respecto a algún origen punto. En términos de Realidad Aumentada, el objeto en cuestión se toma predominantemente como una cámara de video o un dispositivo móvil con cámara incorporada. Esta es la cámara a través de la cual se ven los aumentos.
¿Hay diferentes tipos de seguimiento de AR?
Las tecnologías y técnicas para realizar el seguimiento de AR varían ampliamente tanto en rendimiento, costo de implementación, área de cobertura y precisión. Los sistemas de seguimiento de grado profesional usan cámaras infrarrojas de última generación para rastrear arreglos de esferas retrorreflectantes montadas rígidamente, conocidas como "constelaciones" o "fiduciales". Estos sistemas suelen ser bastante caros, especialmente cuando se usan para cubrir grandes áreas. Algunos proveedores notables de tales sistemas son Optitrack y ART (Advanced Real-time Tracking). Sin embargo, estos sistemas no son prácticos para el uso general del consumidor.
Pero hay miles de aplicaciones de AR orientadas al consumidor en la App Store, y las aplicaciones de AR han existido durante años, ¿verdad?
Cuando se trata de usar AR en casa, ha sido el caso, básicamente, en la última década, que el seguimiento del dispositivo móvil se realizó a través del seguimiento de marcador 2D. El fiducial en este caso es una imagen 2D de tamaño predeterminado, que un dispositivo móvil es capaz de identificar en su alimentación de video gracias a los algoritmos de visión por computadora. La desventaja del seguimiento de marcador 2D es, por supuesto, que la cámara debe mantener el marcador a la vista durante toda la sesión de rastreo. Esto significa que el área de cobertura está limitada por la cantidad de imágenes 2D que puede mantener a la vista. Se pueden usar varias imágenes muy cerca una de la otra para extender el área, pero se requiere una línea de visión clara para al menos una de las imágenes en todo momento.
Pero ese ya no es el caso?
Desde que se anunció ARKit (y ARCore) el año pasado, ha surgido una nueva era de rastreo AR para uso doméstico. Estas nuevas bibliotecas de seguimiento aún proporcionan la posición de traslación y rotación del dispositivo móvil, pero lo hacen a través de enfoques de seguimiento "sin marcador". Es decir, pueden iniciar y rastrear en cualquier espacio arbitrario sin ningún conocimiento previo del entorno. Estas bibliotecas de seguimiento sin marcador usan lo que se conoce como un enfoque SLAM (localización y asignación simultáneas). Esto simplemente significa que el dispositivo construye un "mapa" de los alrededores y también se localiza con respecto a este mapa durante el tiempo de ejecución.
¿Cuál es la "salsa especial" que hace que ARKit funcione?
Apple ha descrito que ARKit utiliza "Visual Odometry", que es una forma elegante de decir que usa el video para determinar cuánto se ha movido. ARKit, por supuesto, también utiliza los chips de coprocesador de movimiento dentro de los dispositivos iOS para proporcionar datos giroscópicos y acelerómetros de alta precisión también. Puede probar esto en las aplicaciones ARKit que pueda tener en su dispositivo simplemente cubriendo la cámara mientras mira un objeto AR. Con la cámara tapada, rote y traduzca el dispositivo. Esto le permitirá ver cómo los sensores internos solos se utilizan para ayudar en el seguimiento.
Los beneficios de estas nuevas bibliotecas de seguimiento sin marcador son mucho mayores que cualquiera de las soluciones basadas en marcador 2D del pasado. El área de seguimiento efectiva es mucho más grande, posiblemente incluso infinita. Además, estos métodos de seguimiento pueden proporcionar actualizaciones posicionales a escala real, lo que facilita mucho más a los desarrolladores agregar mejoras de tamaño natural y vida útil a aplicaciones novedosas.
¿Cómo calificaría el seguimiento del ARKit SDK de Apple?
ARKit, incluso como la versión 1.0, tiene muy buenas capacidades de seguimiento. El seguimiento en sí mismo comienza rápidamente, y el error acumulado, mientras está presente, es relativamente pequeño siempre que permanezca dentro de un espacio razonable.
Siento que "pero" está pasando …
Existe una interrupción predominante con ARKit y ARCore, y así es como proporcionan información sobre dónde se encuentra el terreno. Si bien ARKit y ARCore pueden comenzar a rastrear con bastante rapidez, comienzan sin ningún conocimiento de dónde está realmente el terreno. Para poder ubicar imágenes 3D con precisión en el piso, primero se debe identificar el piso. ARKit llama a esto "encontrar un ancla", y es capaz de hacerlo mientras la aplicación se está ejecutando, pero requiere que el usuario mire al piso y mueva el dispositivo, preferiblemente en un movimiento horizontal de traslación, para que pueda seleccionar -un grupo de características que cree que todas se encuentran en el mismo plano horizontal.
Suena complicado. ¿Y que?
Una vez que se seleccionan suficientes puntos, ARKit lo identifica como un ancla, y la aplicación puede usar esta información de anclaje para colocar aumentos en este plano. Desafortunadamente, ARKit no proporciona métodos fáciles o intuitivos listos para usar para guiar a un usuario de su aplicación a través del proceso de identificación manual de un anclaje de piso. Y, de hecho, no proporciona retroalimentación sobre qué tan cerca o qué tan bien está progresando el proceso de identificación de un anclaje de piso.
Esa lenta exploración de anclaje está causando preocupación, ¿no?
Esto realmente ha sido un problema real para muchos usuarios nuevos de Realidad Aumentada, quienes pueden frustrarse rápidamente con lo que puede parecer un mal seguimiento que conduce a malas experiencias de usuario. Los desarrolladores de aplicaciones inteligentes pueden incorporar interfaces de usuario adicionales para ayudar a guiar al usuario a través del proceso de búsqueda de un ancla, pero sin la posibilidad de actualizarlos sobre cuán cerca están de completar el proceso, o qué tan bien se está rastreando su piso, es inevitable que muchos usuarios consideren que la experiencia no valga la pena su tiempo y que probablemente no regrese para otro intento.
El rastreo MxT de Marxent, que usted creó, se inicializa casi al instante, ¿correcto? ¿Eres un mago?
El seguimiento MxT de Marxent proporciona, de hecho, una experiencia de seguimiento nearless instantless casi instantánea para colocar objetos en el suelo sin la necesidad de un escaneo inicial de los anclajes de tierra. El usuario simplemente apunta su dispositivo y comienza el rastreo, tan simple y sin frustraciones como sea posible.
Noto que no respondiste la pregunta del asistente. Te censuraré por un sí. Continuando, ¿cuál es la diferencia entre MxT y ARKit?
Fundamentalmente, MxT y ARKit utilizan métodos de seguimiento completamente diferentes. Como se mencionó anteriormente, ARKit es una experiencia de seguimiento SLAM visual que es capaz de proporcionar traducción de dispositivo y movimiento de rotación en escala de mundo real. Es decir, si mueve el dispositivo un medidor, puede informar que se ha movido, aproximadamente, un metro. Es, por supuesto, falible, y habrá algún error que se acumulará con el tiempo, pero puede mitigarse con algunas correcciones.
MxT es un enfoque de seguimiento relativo, lo que significa que la escala del espacio de seguimiento no es absoluta con respecto al mundo, sino que se basa en una estimación de cómo el usuario está de pie o sentado y utilizando la aplicación. MxT es más adecuado para la experiencia AR corto, como la visualización de muebles para el hogar rápidamente, dentro de un espacio relativamente pequeño. Como no requiere acción del usuario para comenzar a colocar objetos en el suelo, la experiencia permite una visualización rápida de aumentos.
¿Cómo se casa Marxent MxT con ARKit en una aplicación?
Sorprendentemente, no es difícil agregar los beneficios del MxT "Inicio instantáneo" a una experiencia ARKit. De hecho, ya hemos preparado un SDK que permite a una aplicación aprovechar el seguimiento relativo de MxT para comenzar a colocar de inmediato el aumento en el piso y en la habitación alrededor del usuario. Mientras tanto, los procesos de búsqueda de anclaje de ARKit aún se están ejecutando, y una vez que se ha identificado un ancla de tierra, la aplicación puede realizar una transición sin problemas de MxT a ARKit sin que el usuario sea más inteligente.
¿Existen beneficios al combinar MxT y ARKit más allá de la inicialización?
El inicio instantáneo es definitivamente el mayor beneficio técnico. Esto también viene con ganancias adicionales en usabilidad para aquellos nuevos usuarios que quieran probar AR por primera vez. Ser capaz de colocar objetos al instante elimina el mayor dolor de cabeza con la gran cantidad de aplicaciones actuales de ARKit, que es la necesidad de que los consumidores despreocupados balanceen sus dispositivos o pasen más tiempo guiándoles a través de una experiencia de exploración de anclaje y luego usen la aplicación para viendo productos en su habitación. Esta facilidad de uso del inicio instantáneo MxT hace que sea mucho más probable que el usuario regrese para otra sesión.
Gracias Ken! Realmente aprecio toda la información.
El gusto es mio.

Hable con los expertos en Realidad Aumentada y Realidad Virtual

Para obtener más información sobre las aplicaciones de realidad aumentada y realidad virtual para ventas y marketing, contáctenos en cualquier momento. Envíe un correo electrónico a Beck Besecker o llame al 727-851-9522.

Más recursos de VR y AR

La realidad virtual cambia constantemente y hay mucho que aprender. Aquí hay una lista suplementaria de recursos VR / AR para que pueda disfrutar y compartir. La realidad disminuida tendrá tanto poder como AR para los minoristas

¿Qué es 3D Furniture Cloud ™?

3D Furniture Cloud ™ es el galardonado sistema de gestión de contenido basado en la nube y conjunto de soluciones de Realidad Aumentada y Virtual para fabricantes, minoristas y constructores de viviendas. Una solución probada diseñada para brindar el poder y la persuasión de Realidad Virtual y Realidad Aumentada a todo, desde comprar una casa hasta amueblar una casa, las experiencias 3D Furniture Cloud ™ AR y VR se adaptan a la empresa, generan confianza entre los compradores y ofrecen ventas. ¿Qué solución es la adecuada para ti?

3D Room Designer es la herramienta de configuración, precio y cotización para productos semi personalizados que funciona con navegadores web móviles o la mayoría de los navegadores web estándar.
3D Furniture Cloud ™ VR Showroom es la sala de exposición de realidad virtual en la tienda que ofrece un sinfín de tiendas de pasillo dentro de una pequeña área comercial.