Apple desarrolla una IA capaz de generar avatares 3D realistas a partir de fotografías – MacMagazine
money
En vísperas de la WWDC26, los investigadores de Apple presentaron el Avisoun sistema de inteligencia artificial (IA) capaz de generar representaciones gaussianas en 3D de cabezas humanas con un alto nivel de fidelidad a partir de fotografías capturadas simultáneamente por múltiples cámaras.
El software también es capaz de animar modelos 3D con formas mezcladas (es decir, el acto de “deformar” la malla de un modelo 3D) de expresión. En un artículo publicado por 23 investigadores de Apple, se detalla técnicamente cómo funciona la herramienta.
Consulte parte del resumen del estudio:
El método emplea una arquitectura codificador-decodificador eficiente que comprime las imágenes de entrada en una representación latente compacta. Esta representación latente luego se decodifica en un conjunto de gaussianos 3D con parámetros UV, anclados a un modelo de cabeza neutral. Esta representación UV desacopla la cantidad de gaussianos 3D de la cantidad y resolución de las imágenes de entrada, lo que permite entrenar con muchas imágenes de alta resolución.
El HeadsUp se capacitó con más de 10 mil participantes, una hazaña sin precedentes en el segmento. El objetivo del proyecto era resolver uno de los principales dilemas de las reconstrucciones 3D de este tipo: la brecha entre calidad y escalabilidad.
Las herramientas de este tipo normalmente tardan unos minutos en mapear cada cara, mientras que el nuevo sistema de Apple es capaz de generar un modelo 3D de una nueva cara en menos de 1 segundo, hasta 40 veces más eficiente que Avat3r, una solución utilizada para comparar el rendimiento. Además de la diferencia de velocidad, llama la atención la ganancia de calidad respecto al software de la competencia.
Con NVIDIA A100 (GPU orientada a centros de datos y aplicaciones de muy alto rendimiento), se necesitaron sólo 0,33 segundos para generar el modelo 3D de una cabeza humana, mientras que con 4 cámaras el resultado tardó unos increíbles 0,14 segundos.
Es capaz de capturar detalles finos, como pelos, pestañas, joyas y textura de la piel, puntos históricamente sensibles para este tipo de reconstrucción. La tecnología es incluso capaz de generar identidades completamente nuevas a partir de descripciones de texto.
No pasó mucho tiempo para que comenzaran las especulaciones sobre la relación entre esta tecnología y Personas del Apple Vision Pro, una hipótesis que no parece tan improbable teniendo en cuenta otros guiños de Apple, como el reciente descubrimiento de la adquisición de la empresa de avatares de IA Animato.
Entrenado con más de 10.000 caras reales para construir un salpicar Gaussiano 3D totalmente animable que puedes rotar e iluminar.
emocionado de ver Personas en visionOS 27.
El propio estudio citó que esta tecnología reduce las barreras para la creación deepfakes convincentes, lo que plantea riesgos de desinformación y fraude. La recomendación de Apple es utilizar marcas de agua al ofrecer materiales de demostración como medida de mitigación.
El estudio se puede ver íntegro en su página oficial.
