En semanas anteriores, escribí para ustedes un artículo sobre las bondades de la fotogrametría enfocada a la reconstrucción de objetos inanimados. Para darle continuidad al tema, en esta ocasión veremos una aplicación de gran utilidad de fotogrametría: dobles digitales.
Tuve la invitación a visitar y probar el equipo de HCG Technologies para fotogrametría orientada a dobles digitales de humanos. Carlos Vilchis, co-fundador y CTO de HCG me dio una introducción a este mundo con mucha claridad, lo cual le agradezco muchísimo, para poder mostrarles el resultado. Antes de empezar, quisiera reiterar que como muchos de ustedes, estoy aquí para aprender nuevas técnicas y experimentar con ello, así que no se queden con la idea de que soy especialista en dobles digitales, sino más bien una corresponsal en este breve ensayo que espero les pueda servir de referencia y ayuda para sus próximos proyectos.
Setup del rig de cámaras para fotogrametría de sujetos en HCG Technologies.
Captura fotogramétrica
Iniciamos el día en sus oficinas preparando el equipo para una prueba. Anel Lazcano, Product Manager y Luis Javier Pacheco, Operador de MultiCam solutions me indicaron el orden de armado del rig de cámaras.
El operador fue quien tomó la captura y yo me puse en el lugar del sujeto a enfocar.
Para obtener la mayor información posible del rostro, se tuvieron disponibles en ese momento 22 cámaras Canon EOS Rebel T6 dispuestas en 7 trípodes Manfrotto. En grandes producciones, otras compañías llegan a utilizar más de 100 cámaras para una captura y están dispuestas en rigs donde no se moverán. La ventaja del sistema de HCG es que puede trasladarse a otros sitios.
Para adherir una cámara se soporta en un clamp, que es muy parecida a una pinza. Los trípodes van alrededor del sujeto en un arreglo de medio círculo. Cada cámara debe tener dos conexiones; una de USB para un equipo de cómputo y otra para los shutter cells, que en esencia, son aparatos que ayudan a coordinar todas las cámaras en un circuito para que disparen al mismo tiempo.
El sujeto se sienta frente a las cámaras sin moverse.
El primer shutter cell del circuito es el que lleva el disparador en un control. El programa utilizado para monitorear las cámaras es Smart shooter, ¡Así que si quieres, puedes cambiar la apertura de diafragma o la exposición, ISO u otros valores de cualquier cámara de tu rig desde este programa!
Después de estos pasos, el sujeto debe estar listo y sentado frente a las cámaras y otra persona se encarga de enfocar y ajustar valores de imagen manualmente en cada una de las cámaras. Cuando se termina esta tarea, ahora sí todo está listo para hacer una captura y se puede presionar al disparador. El sujeto no debe tener sudor en el rostro, pues las superficies brillantes crean errores en la reconstrucción, además, es ideal tener una banda o diadema para sostener el cabello, pues los detalles finos como el cabello no son buenos para fotogrametría y podrían “ensuciar” la textura del rostro en el modelo reconstruido. Idealmente, necesitamos mucha luz en la habitación, pero con la ambiental pudimos trabajar bien. Otro detalle importante es el fondo; los fondos blancos o negros son ideales porque no se procesan en Photoscan y es más fácil que el programa los ignore.
Inmediatamente después, obtuvimos las 22 fotografías de la captura, listas para procesarse en Agisoft Photoscan. Recordemos que el proceso es esencialmente simple; se deben enmascarar todas las fotos, para indicarle al software qué zonas del fondo debe ignorar. Para no perder mucho tiempo, pasamos directamente a alinear las fotos, es decir, rastrear los puntos clave para recrear el espacio tridimensional de la captura. Después, viene la construcción de la nube densa de puntos, que como vimos en el artículo pasado, son partículas con color, que representan la superficie en un volumen. Posteriormente viene la construcción de la geometría del modelo, y por último, la de la textura.
Aquí tenemos 4 fotografías de la secuencia de 22 cámaras.
El modelo que obtuvimos tenía algunos errores, especialmente en la nariz, que es la superficie de piel donde había más brillo, así que fue necesario limpiar y corregir la geometría (la cual fue como resultado un archivo de .OBJ) desde un programa de esculpido digital. Únicamente debe importarse el .OBJ al programa y uno puede comenzar a trabajar sobre el modelo, para darle mayor volumen a las zonas donde se ve un poco hueco.
En un acercamiento más detallado, podemos ver la geometría que tiene más problemas y es necesario corregirlos.
Posteriormente pasé a la retopología. En Maya, importé el modelo .OBJ y sobre éste comencé a trazar un modelo desde un plano para así ir marcado una topología más limpia y ordenada (que idealmente usaríamos para un modelo que se va a animar, aunque por tiempo y porque ésta es una prueba, sólo nos quedaremos con el modelo estático).
El modelo gris es un duplicado de la geometría con topología correcta, sobre el modelo obtenido con la captura.
Después trabajé en el UV map. La ventaja de Maya 2018 es que ha renovado su UV Editor para que sea más fácil y mejor el desdoblado de UVs con menor umbral de deformación. Para evitar problemas con las costuras del mapa, preferí mantenerlo de una sola isla o pieza.
Recordemos que muchos de estos procesos son a punta de ensayo y error. Tenía una idea de cómo proyectar la misma textura en una geometría de topología correcta y probé esta secuencia de pasos que describo a continuación, aunque si ustedes conocen una más óptima, les agradecería mucho que la compartieran conmigo y los demás lectores.
- Desde el archivo con la reconstrucción de Photoscan, exporté el modelo de alta resolución a Maya, sin mover su ubicación original en el grid.
- En Maya, teniendo el modelo de alta resolución, coloqué la nueva geometría low poly, lo mejor colocada posible sobre el modelo más complejo.
- Estando en esa misma ubicación, exporté el modelo como .OBJ a la misma escena de Photoscan que tenía inicialmente. Para acceder a esta opción, nos vamos al menú Tools>Import>Import Mesh y aceptamos en el cuadro de diálogo que aparecerá.
- Pensando en que la geometría sobre la que vamos a proyectar ya tiene un mapa de UVs bien hecho, lo que haremos es ir al menú de Workflow>Build texture y en el parámetro Mapping mode elegimos Keep UV.
Así obtendremos una nueva textura de color con la proyección y mapa correctos para nuestro modelo. Tuve que repetir este proceso varias veces, pues en ocasiones la proyección no quedaba correcta, pues me faltaba precisión en el modelo low poly, así que no se frustren si deben repetir un paso varias veces.
Para tener información adecuada para la calidad de superficie (opaca o brillante) y detalle a nivel de relieve, trabajé el modelo en Mudbox para esculpir algunos detalles como poros, arrugas de labios y un poco de relieve en el vello de las cejas (dado que no incluiré cabello en este experimento).
Usé parte de la información que observaba en el mapa de diffuse y en las fotografías de la captura, para obtener un resultado más fidedigno, aunque consideremos que si es a mano, ésta sigue siendo una interpretación y no una reproducción totalmente exacta del sujeto original.
Por último para esta fase, pinté el mapa de especularidad con mayor brillo en los labios y la llamada “zona T”, que es la más grasa de una cara, es decir, la nariz y la frente. La piel de mi cara es muy grasa, así que además agregué brillo alrededor de los ojos y un poco en las mejillas cerca del puente de la nariz.
Luego pasé a la iluminación y el Look Development o desarrollo del aspecto para el rostro.
Ubiqué la geometría en Maya y empecé a construir el material en Arnold de Ai Standard Surface con los mapas importantes:
El mapa de Sub Surface Scatering es una versión que modifiqué de manera arbitraria en Photoshop. Después de varias pruebas en el visor de render de Arnold, me pareció idóneo ese aspecto. Tomemos en cuenta que el SSS es una propiedad de un material en cómputo gráfico que permite que la luz atraviese una superficie de un modelo para dar un aspecto ligeramente traslúcido y más brillante, como sucede con la cera o la piel.
El mapa de displacement lo obtuve desde Mudbox, en formato tif de 16 bits, floating point para que capture mayor detalle en la imagen, pero lo he conectado como mapa de bump en un valor muy bajo de intensidad en el material (0.060).
Agregué dos luces de área, moviendo los valores de exposición y temperatura de luz para poder cambiar un poco la frialdad o calidez de la misma y así obtener resultados interesantes sobre la superficie.
Este fue un resultado previo sin mapa de specular ni bump.
Aquí identifiqué errores en el mapa de specular, pues originalmente había usado un color negro como base, y eso ocasionaba un aspecto de “parches” de brillo cerca de los ojos y las mejillas. Así que illuminé el tono base general del mapa y hubo mejores resultados.
Ojos.
Aquí está una descripción visual del proceso que he llevado para el ojo. Para poder tener más control sobre la toma fotográfica de referencia, le tomé una foto al ojo de mi hermana, pero dado que su iris es ligeramente más claro de color miel que los míos, en Photoshop edité el color e hice lo posible por reproducir el color del globo ocular, que como podrán notar, aún con la corrección de color pertinente no es blanco total, sino que tiene un leve tono azul-grisáceo.
Limpié la imagen e hice lo posible por completar el resto del mapa con un patrón similar para el tejido alrededor del ojo, aunque faltó agregar más venas, pues son una parte importante del aspecto real de un ojo.
Una de las cosas que podremos fijarnos es que la especularidad del ojo se ve irregular fuera de la córnea, por el tejido, así que finalmente, agregué un mapa con algo de ruido dentro del bump de la geometría exterior del ojo, que les muestro a continuación:
Los resultados que me parecieron mejores para finalizar esta prueba, fueron estas imágenes que verán a continuación.
En el área de separación entre ojos y párpado quise lograr un aspecto de humedad, por lo que agregué una geometría curva que “abraza” al ojo, con un material transparente y con especularidad alta, para captar más brillos.
Conclusión
Esta práctica de utilizar la fotogrametría para dobles digitales no pretende eliminar el trabajo de los modeladores, sino más bien facilitar y ahorrar el tiempo invertido en recrear el aspecto de un actor. Por ejemplo, para producciones de VFX. Es importante destacar que la experimentación e investigación son los pilares del avance de este tipo de tecnologías. Dependiendo de varios factores como el presupuesto, cantidad de profesionales en un equipo de trabajo y circunstancias adicionales es que puede haber varios pipelines que sean igualmente válidos y útiles.
Hablando con Carlos Vilchis, Co-Fundador de HCG Technologies, me hizo ver que aún hay cierto escepticismo en estas tecnologías en México y considero que es un error por parte de la industria. Es cierto que toma una inversión económica, de tiempo y esfuerzo para alcanzar resultados idóneos, pero creo que vale la pena en gran medida el comenzar a considerar estas tecnologías para producciones futuras en más países latinoamericanos.
Les agradezco su atención para este artículo. Agradezco también al equipo de HCG Technologies por todo su apoyo y disposición para asesorarme en esta prueba:
Carlos Vilchis – Co-Fundador y CTO
Anel Lazcano – Product Manager HCG
Cristóbal Martínez – Support Engineer Vicon
Luis Javier Pacheco – Operador de MultiCam Solutions, Video y Animación
Daniela Thorton – Diseño gráfico
Daniela Rapp – Executive Manager
Jorge Mercado – Support Engineer Quantic
Diana Solórzano – Representante en Colombia
Ricardo Cueto – Consultor
Marely de la Palma – Product Manager Quantic
HCG Technologies tiene el primer sistema de fotogrametría completo en Latinoamérica que puede usarse tanto para dobles digitales como para efectos bullet time en VFX, además de ofrecer servicios para mocap corporal y facial con equipo de punta de la marca Vicon, pues son distribuidores autorizados de estos equipos, al ser especialistas en su uso.
Para pedir asesorías e información sobre sus servicios y productos, aquí les comparto los datos de contacto de esta excelente empresa:
55 6385 9222
55 7827 7881
Brenda Esquivel Flores
ha trabajado en Slang studio como junior artist en colaboraciones en videojuegos; Elevator games como 3D artist para el juego para iPad "Celleste"; Ollin VFX como 3D artist para películas como 5 de mayo: La batalla, 2 Guns, HER, El más buscado, entre otras; en el Departamento de Visualización y Realidad Virtual de la UNAM creando modelos y diseño de interfaces para simuladores. Actualmente labora en Pharmagraphix3D&Pharmaconsult.
Súper buen trabajo Brenda!