Seguimiento de Marxx de MxT vs. ARKit: Preguntas y respuestas con el Dr. Ken Moser, PhD

El ARKit SDK de Apple ha sido un gran éxito entre los desarrolladores, incluidos los de aquí en Marxent. El software es estable, está bien diseñado y facilita mucho la creación de aplicaciones de Realidad Aumentada para la plataforma iOS. Pero si hay un golpe en ARKit, es que el sistema tarda un tiempo relativamente largo para detectar un plano de superficie y generar imágenes en 3D.
"¿Qué tan molesto es la detección de superficie de ARKit para los usuarios?", Preguntó una columna de octubre publicada en AR Critic. La respuesta, según AR Critic, es "realmente molesta". Tanto es así que el proceso de puesta en marcha puede desconectar a los usuarios incluso antes de que lleguen al núcleo de una experiencia de RA. Pero hay una solución, la inicialización instantánea, que es posible emparejando ARKit con el sistema de seguimiento patentado de Marxent, llamado MxT.

Conversé con el doctorado residente de Marxent, el Dr. Ken Moser, el gran cerebro detrás de MxT y su increíblemente rápido proceso de inicio, sobre cómo funciona el seguimiento de AR, qué hace que la solución de Marxent sea única y por qué ARKit es mejor cuando se combina con MxT. Ken era (como siempre) increíblemente amable con su tiempo y sus respuestas. Aquí está nuestra conversación:
Pregunta: ¿Puede explicar brevemente el seguimiento de AR? ¿Qué es? ¿Como funciona?
Ken Moser: El seguimiento, en el sentido técnico, es la localización de uno (o ambos) del desplazamiento traslacional (X, Y, Z) y la orientación rotacional (balanceo, paso, guiñada) de un objeto, con respecto a algún origen punto. En términos de Realidad Aumentada, el objeto en cuestión se toma predominantemente como una cámara de video o un dispositivo móvil con cámara incorporada. Esta es la cámara a través de la cual se ven los aumentos.
¿Hay diferentes tipos de seguimiento de AR?
Las tecnologías y técnicas para realizar el seguimiento de AR varían ampliamente tanto en rendimiento, costo de implementación, área de cobertura y precisión. Los sistemas de seguimiento de grado profesional usan cámaras infrarrojas de última generación para rastrear arreglos de esferas retrorreflectantes montadas rígidamente, conocidas como "constelaciones" o "fiduciales". Estos sistemas suelen ser bastante caros, especialmente cuando se usan para cubrir grandes áreas. Algunos proveedores notables de tales sistemas son Optitrack y ART (Advanced Real-time Tracking). Sin embargo, estos sistemas no son prácticos para el uso general del consumidor.
Pero hay miles de aplicaciones de AR orientadas al consumidor en la App Store, y las aplicaciones de AR han existido durante años, ¿verdad?
Cuando se trata de usar AR en casa, ha sido el caso, básicamente, en la última década, que el seguimiento del dispositivo móvil se realizó a través del seguimiento de marcador 2D. El fiducial en este caso es una imagen 2D de tamaño predeterminado, que un dispositivo móvil es capaz de identificar en su alimentación de video gracias a los algoritmos de visión por computadora. La desventaja del seguimiento de marcador 2D es, por supuesto, que la cámara debe mantener el marcador a la vista durante toda la sesión de rastreo. Esto significa que el área de cobertura está limitada por la cantidad de imágenes 2D que puede mantener a la vista. Se pueden usar varias imágenes muy cerca una de la otra para extender el área, pero se requiere una línea de visión clara para al menos una de las imágenes en todo momento.
Pero ese ya no es el caso?
Desde que se anunció ARKit (y ARCore) el año pasado, ha surgido una nueva era de rastreo AR para uso doméstico. Estas nuevas bibliotecas de seguimiento aún proporcionan la posición de traslación y rotación del dispositivo móvil, pero lo hacen a través de enfoques de seguimiento "sin marcador". Es decir, pueden iniciar y rastrear en cualquier espacio arbitrario sin ningún conocimiento previo del entorno. Estas bibliotecas de seguimiento sin marcador usan lo que se conoce como un enfoque SLAM (localización y asignación simultáneas). Esto simplemente significa que el dispositivo construye un "mapa" de los alrededores y también se localiza con respecto a este mapa durante el tiempo de ejecución.
¿Cuál es la "salsa especial" que hace que ARKit funcione?
Apple ha descrito que ARKit utiliza "Visual Odometry", que es una forma elegante de decir que usa el video para determinar cuánto se ha movido. ARKit, por supuesto, también utiliza los chips de coprocesador de movimiento dentro de los dispositivos iOS para proporcionar datos giroscópicos y acelerómetros de alta precisión también. Puede probar esto en las aplicaciones ARKit que pueda tener en su dispositivo simplemente cubriendo la cámara mientras mira un objeto AR. Con la cámara tapada, rote y traduzca el dispositivo. Esto le permitirá ver cómo los sensores internos solos se utilizan para ayudar en el seguimiento.
Los beneficios de estas nuevas bibliotecas de seguimiento sin marcador son mucho mayores que cualquiera de las soluciones basadas en marcador 2D del pasado. El área de seguimiento efectiva es mucho más grande, posiblemente incluso infinita. Además, estos métodos de seguimiento pueden proporcionar actualizaciones posicionales a escala real, lo que facilita mucho más a los desarrolladores agregar mejoras de tamaño natural y vida útil a aplicaciones novedosas.
¿Cómo calificaría el seguimiento del ARKit SDK de Apple?
ARKit, incluso como la versión 1.0, tiene muy buenas capacidades de seguimiento. El seguimiento en sí mismo comienza rápidamente, y el error acumulado, mientras está presente, es relativamente pequeño siempre que permanezca dentro de un espacio razonable.
Siento que "pero" está pasando …
Existe una interrupción predominante con ARKit y ARCore, y así es como proporcionan información sobre dónde se encuentra el terreno. Si bien ARKit y ARCore pueden comenzar a rastrear con bastante rapidez, comienzan sin ningún conocimiento de dónde está realmente el terreno. Para poder ubicar imágenes 3D con precisión en el piso, primero se debe identificar el piso. ARKit llama a esto "encontrar un ancla", y es capaz de hacerlo mientras la aplicación se está ejecutando, pero requiere que el usuario mire al piso y mueva el dispositivo, preferiblemente en un movimiento horizontal de traslación, para que pueda seleccionar -un grupo de características que cree que todas se encuentran en el mismo plano horizontal.
Suena complicado. ¿Y que?
Una vez que se seleccionan suficientes puntos, ARKit lo identifica como un ancla, y la aplicación puede usar esta información de anclaje para colocar aumentos en este plano. Desafortunadamente, ARKit no proporciona métodos fáciles o intuitivos listos para usar para guiar a un usuario de su aplicación a través del proceso de identificación manual de un anclaje de piso. Y, de hecho, no proporciona retroalimentación sobre qué tan cerca o qué tan bien está progresando el proceso de identificación de un anclaje de piso.
Esa lenta exploración de anclaje está causando preocupación, ¿no?
Esto realmente ha sido un problema real para muchos usuarios nuevos de Realidad Aumentada, quienes pueden frustrarse rápidamente con lo que puede parecer un mal seguimiento que conduce a malas experiencias de usuario. Los desarrolladores de aplicaciones inteligentes pueden incorporar interfaces de usuario adicionales para ayudar a guiar al usuario a través del proceso de búsqueda de un ancla, pero sin la posibilidad de actualizarlos sobre cuán cerca están de completar el proceso, o qué tan bien se está rastreando su piso, es inevitable que muchos usuarios consideren que la experiencia no valga la pena su tiempo y que probablemente no regrese para otro intento.
El rastreo MxT de Marxent, que usted creó, se inicializa casi al instante, ¿correcto? ¿Eres un mago?
El seguimiento MxT de Marxent proporciona, de hecho, una experiencia de seguimiento nearless instantless casi instantánea para colocar objetos en el suelo sin la necesidad de un escaneo inicial de los anclajes de tierra. El usuario simplemente apunta su dispositivo y comienza el rastreo, tan simple y sin frustraciones como sea posible.
Noto que no respondiste la pregunta del asistente. Te censuraré por un sí. Continuando, ¿cuál es la diferencia entre MxT y ARKit?
Fundamentalmente, MxT y ARKit utilizan métodos de seguimiento completamente diferentes. Como se mencionó anteriormente, ARKit es una experiencia de seguimiento SLAM visual que es capaz de proporcionar traducción de dispositivo y movimiento de rotación en escala de mundo real. Es decir, si mueve el dispositivo un medidor, puede informar que se ha movido, aproximadamente, un metro. Es, por supuesto, falible, y habrá algún error que se acumulará con el tiempo, pero puede mitigarse con algunas correcciones.
MxT es un enfoque de seguimiento relativo, lo que significa que la escala del espacio de seguimiento no es absoluta con respecto al mundo, sino que se basa en una estimación de cómo el usuario está de pie o sentado y utilizando la aplicación. MxT es más adecuado para la experiencia AR corto, como la visualización de muebles para el hogar rápidamente, dentro de un espacio relativamente pequeño. Como no requiere acción del usuario para comenzar a colocar objetos en el suelo, la experiencia permite una visualización rápida de aumentos.
¿Cómo se casa Marxent MxT con ARKit en una aplicación?
Sorprendentemente, no es difícil agregar los beneficios del MxT "Inicio instantáneo" a una experiencia ARKit. De hecho, ya hemos preparado un SDK que permite a una aplicación aprovechar el seguimiento relativo de MxT para comenzar a colocar de inmediato el aumento en el piso y en la habitación alrededor del usuario. Mientras tanto, los procesos de búsqueda de anclaje de ARKit aún se están ejecutando, y una vez que se ha identificado un ancla de tierra, la aplicación puede realizar una transición sin problemas de MxT a ARKit sin que el usuario sea más inteligente.
¿Existen beneficios al combinar MxT y ARKit más allá de la inicialización?
El inicio instantáneo es definitivamente el mayor beneficio técnico. Esto también viene con ganancias adicionales en usabilidad para aquellos nuevos usuarios que quieran probar AR por primera vez. Ser capaz de colocar objetos al instante elimina el mayor dolor de cabeza con la gran cantidad de aplicaciones actuales de ARKit, que es la necesidad de que los consumidores despreocupados balanceen sus dispositivos o pasen más tiempo guiándoles a través de una experiencia de exploración de anclaje y luego usen la aplicación para viendo productos en su habitación. Esta facilidad de uso del inicio instantáneo MxT hace que sea mucho más probable que el usuario regrese para otra sesión.
Gracias Ken! Realmente aprecio toda la información.
El gusto es mio.

Hable con los expertos en Realidad Aumentada y Realidad Virtual

Para obtener más información sobre las aplicaciones de realidad aumentada y realidad virtual para ventas y marketing, contáctenos en cualquier momento. Envíe un correo electrónico a Beck Besecker o llame al 727-851-9522.

Más recursos de VR y AR

La realidad virtual cambia constantemente y hay mucho que aprender. Aquí hay una lista suplementaria de recursos VR / AR para que pueda disfrutar y compartir. La realidad disminuida tendrá tanto poder como AR para los minoristas

¿Qué es 3D Furniture Cloud ™?

3D Furniture Cloud ™ es el galardonado sistema de gestión de contenido basado en la nube y conjunto de soluciones de Realidad Aumentada y Virtual para fabricantes, minoristas y constructores de viviendas. Una solución probada diseñada para brindar el poder y la persuasión de Realidad Virtual y Realidad Aumentada a todo, desde comprar una casa hasta amueblar una casa, las experiencias 3D Furniture Cloud ™ AR y VR se adaptan a la empresa, generan confianza entre los compradores y ofrecen ventas. ¿Qué solución es la adecuada para ti?

3D Room Designer es la herramienta de configuración, precio y cotización para productos semi personalizados que funciona con navegadores web móviles o la mayoría de los navegadores web estándar.
3D Furniture Cloud ™ VR Showroom es la sala de exposición de realidad virtual en la tienda que ofrece un sinfín de tiendas de pasillo dentro de una pequeña área comercial.

¿Qué sabe Amazon que no lo hace? – Marxent

¿Qué sabe Amazon que no es así? Es una pregunta que los minoristas y los fabricantes de muebles tienen que preguntarse en el mercado actual en rápida evolución. La experiencia de venta minorista está cambiando, y la compra de muebles está cambiando junto con ella.

Este video es el primero de una serie de videos de varias partes sobre la estrategia de productos 3D. En los próximos meses, analizaremos en profundidad cómo los minoristas y los fabricantes ya utilizan los productos 3D para cambiar la manera en que las personas compran muebles y artículos para el hogar. Cada nuevo video explorará las ideas y estrategias que potencian una estrategia omnicanal moderna. Exploraremos la tensión interminable entre la velocidad y la calidad que acecha a cada una de las principales iniciativas minoristas, y explicaremos en detalle las concesiones que las empresas deben hacer al desarrollar una estrategia de productos 3D.
Otros temas incluirán el realismo, el cómo y el porqué de la construcción de su propio equipo 3D, y por qué el sistema de administración de contenido correcto es esencial para ir al mercado. La serie concluirá con un seminario web especial, sobre el cual les contaremos más a medida que avancemos en la serie.

Nuestros 3 desafíos más grandes: el triángulo de hierro y la estrategia de producto 3D

Realismo, velocidad, opciones de implementación: los minoristas de muebles y los fabricantes que persiguen una estrategia de productos en 3D los quieren a todos, pero ¿a qué precio? Bienvenido al "Triángulo de Hierro", la lucha eterna del desarrollo de software. Las restricciones se consideran "de hierro" porque no se puede cambiar sin afectar a los demás.
Los compradores de muebles no conocen ni se preocupan por el Triángulo de Hierro. Exigen mejor realismo y velocidad, herramientas de diseño más intuitivas y, lo más importante de todo, menos fricción en todas partes, y lo quieren ahora. Una encuesta reciente de Digital Bridge descubrió que el 74% de los consumidores ya espera que los minoristas ofrezcan algún tipo de experiencia de AR.
En este video, exploraremos qué significa el Triángulo de Hierro para la estrategia de productos 3D, y ofreceremos sugerencias para los minoristas de muebles y los fabricantes que buscan que la entrega virtual de productos sea una parte integral de su negocio.

Nota: Este video es el segundo de una serie de videos de varias partes sobre la estrategia de productos 3D. Mira la parte 1 aquí. La serie concluirá con un seminario web especial, sobre el cual les contaremos más a medida que avancemos en la serie. ¡Manténganse al tanto!

¿Qué significa el navegador AR / VR "Realidad Firefox" de Mozilla para los minoristas?

Mozilla, la comunidad de desarrolladores sin ánimo de lucro detrás del popular navegador web Firefox, está intentando desarrollar un nuevo producto específicamente para hardware de Realidad Aumentada y Aumentada. Se llama "Realidad de Firefox", que Mozilla describe como un nuevo navegador "diseñado desde cero para auriculares autónomos de Realidad Virtual y Aumentada".
"Tomamos nuestra tecnología web Firefox existente y la mejoramos con Servo, nuestro motor web experimental", explica el anuncio del producto. "Desde Firefox, obtenemos décadas de compatibilidad web y los beneficios de rendimiento de Firefox Quantum. Del equipo de Servo (que recientemente se unió al equipo de realidad mixta), obtendremos la capacidad de experimentar con diseños y tecnologías completamente nuevos para ver e interactuar con la web inmersiva. Este es el primer paso en nuestro plan a largo plazo para ofrecer una experiencia totalmente nueva en una nueva plataforma emocionante ".

Entonces, ¿qué significa esta nueva solución de navegador para los minoristas que ahora están considerando agregar herramientas AR / VR a su arsenal de ventas? La respuesta no es mucho. En esencia, Firefox Reality es simplemente un navegador que puedes usar desde una experiencia AR / VR. No tiene nada que ver con la adición de la funcionalidad AR / VR a los teléfonos inteligentes u otras tecnologías existentes, y es difícil ver un caso de uso minorista para esta tecnología.
"De hecho, es solo un navegador diseñado para usarse con auriculares, no para agregar ninguna funcionalidad especial nueva a teléfonos o cualquier otro dispositivo", explica el ingeniero de software Ken Moser, PhD residente de Marxent.
Entonces, ¿esta característica es realmente necesaria?
"La razón por la que se necesitaría un tipo diferente de navegador mientras se usa un audífono se hace más evidente cuando realmente se pone un audífono y trata de navegar por la Web", explica Ken. "No es lo mismo que verlo en la pantalla de su computadora o en su teléfono inteligente. Cuando usa un audífono, espera que los movimientos y movimientos de la cabeza se traduzcan en lo que realmente está viendo en la pantalla. Si no tienes una funcionalidad de navegador especial para esto, no importa cómo te mudes, simplemente estarías mirando la misma parte de la página web ".
Pero Ken señala que hay más en los planes Web VR de Mozilla que solo un navegador HMD.
"Por separado, sin embargo, Firefox es compatible con el estándar WebVR, lo que significa que es posible conectar su navegador de escritorio con el Vive para iniciar experiencias de realidad virtual en el navegador", dice Ken. "Esto significa que puede hacer que el contenido web se vea exclusivamente en un auricular VR (como el video 360 por ejemplo), o las experiencias WebGL dirigidas a la realidad virtual. Es decir, nuevamente, contenido web, ejecutado desde su navegador de escritorio, que se conecta con un auricular VR conectado. Presumiblemente, este mismo contenido pasaría de forma natural al navegador específico del auricular ".
En pocas palabras: Firefox Reality es una buena idea que llevará la navegación web a espacios VR existentes, pero su utilidad como herramienta de ventas es actualmente inexistente.