NVIDIA ha lanzado en beta pública XR AI, una biblioteca destinada a desarrolladores que permite crear agentes de inteligencia artificial multimodal para gafas de realidad aumentada y dispositivos XR. Esta herramienta no solo busca ser un asistente conversacional, sino también interpretar el entorno físico y proporcionar apoyo en tareas técnicas.
Características de XR AI
XR AI está diseñada para integrar entradas de video, audio, profundidad, pose y sensores de dispositivos AR y XR. Gracias a esta funcionalidad, los desarrolladores pueden crear agentes que comprenden el espacio donde opera el usuario y ofrecen asistencia en trabajos manuales o procedimientos complejos.
El repositorio de XR AI, disponible en GitHub, también permite la integración con modelos de razonamiento, recuperación de información empresarial y herramientas para coordinar agentes. Esto significa que las aplicaciones pueden ir más allá de las preguntas escritas o habladas, utilizando señales del entorno para responder de manera más contextual.
Aplicaciones en el ámbito científico y médico
Un caso destacado es el de Rana, una compañía de AutoBio, que implementa XR AI en su sistema LabOS para optimizar flujos de trabajo científicos. Esta aplicación ofrece guía manos libres en laboratorios, y ya se utiliza en terapias con células madre e investigación de edición genética en el Cong Lab de Stanford University School of Medicine y el Wang Lab de Princeton University.
“El agente puede ayudar a identificar la muestra correcta, seleccionar el editor genético CRISPR adecuado, guiar pasos experimentales y registrar una trazabilidad estructurada del procedimiento”.
Además, el Surreality Lab de University of Pittsburgh Medical Center está explorando cómo XR AI puede asistir en procedimientos quirúrgicos, proporcionando información contextual sin obstruir la visión del cirujano. El objetivo es que la información se presente de manera que no interfiera con el procedimiento, cuidando áreas relevantes de la vista del médico.
Fuente: Pisapapeles
Discussion about this post