Las películas de «El señor de los anillos» fueron publicadas a principios de siglo y dirigidas por Peter Jackson y están basadas en los libros originales de JRR Tolkien escritos entre 1937 y 1949, por lo tanto, tanto los personajes como los diálogos están protegidos bajo derechos de autoría, entonces este proyecto queda limitado al ámbito docente y como mucho podría formar parte de mi bobina de trabajo.
La mejor fuente de material gráfico para la búsqueda de referentes es, por lo tanto, los mismos filmes, y más concretamente la versión extensa de «El señor de los Anillos las dos Torres»
En los filmes originales, este personaje fue generado con CGI, a pesar que la tecnología del momento ya permitía la captación de movimiento en el cine, no la usaron tanto como en el Hobbit. La primera película en usarla fue «Sinbad: Beyond the Veil of Mists (2000). Evan Ricks y Alan Jacobs «, una obra que tuvo muy poca repercusión.
En el «TLOTR» se optó por combinar la animación completa con algunos detalles de animación corporal procedentes de la captura. Para hacer la animación de referencia de este trabajo, no se usó captura. Lo que se hizo fue rodar la escena de este personaje dos veces, una con el actor interpretando a Gollum y nuevamente sin él, De tal manera que con la primera los animadores tenían una referencia expresiva del actor que utilizaban para animar el modelo 3D e integrarlo posteriormente a la escena sin actor.
El actor se vestía con una malla blanca que cubre todo el cuerpo para ser más fácilmente rotoscopiable por el equipo de postproducción, asimismo llevaba muñequeras, rodilleras, protector lumbar y demás para aguantar la interpretación de un personaje tan físico como es Gollum.
(fotograma making off “TLOTR las dos torres”)
Recientemente, se ha publicado la trilogía de «el Hobbit» (2012-2014), en esta nueva entrega sí se utilizaron las últimas y más sofisticadas técnicas de captación de movimiento para generar el personaje y el resto de personajes cgi.
(fotograma making off “El Hobbit: Un viaje inesperado”)
En cuanto a la ciencia relacionada con el proyecto, hay varios aspectos a tener en cuenta:
-3D: Existen múltiples programas de modelado tridimensional en el mercado, por lo tanto, es necesario conocer sus capacidades, enfoques y defectos antes de elegir uno o una combinación de ellos. En este caso se requiere un software que permita la edición cuidada de la malla, que permite importar las capturas de movimiento y trabajarlas.
3ds Max nos hace servicio.
-Captura de movimiento: Del mismo modo que hay muchos programas 3D, también existen diversas técnicas de captación de movimiento más o menos complejas y más o menos caras en función de su complejidad:
-Captura electromecánica: Uso de un exoesqueleto que a partir de la detección de la tensión mecánica entre sus juntas captura la posición del cuerpo a lo largo del tiempo mediante sensores especializados.
(traje de captura electromecánica)
-Captura electromagnética: Uso de sensores pegados al cuerpo que miden la relación espacial con un sensor apartado (posición y rotación) y permiten la grabación.
(traje de captura electromagnética)
-Captura Óptica: Con una o varias cámaras, normales o de profundidad (dependiendo del sistema) se pueden captar los volúmenes en movimiento y gracias a un software especializado, estos volúmenes son traducidos en un esqueleto móvil tridimensional. Dependiendo de si usa marcadores o no y de si estos son electrónicos o no podríamos clasificar los sistemas ópticos en los siguientes grupos:
-Con indicadores activos: Sensores electrónicos que envían coordenadas y posiciones relativas a la cámara.
(indicadores faciales activos)
-Con indicadores pasivos: Normalmente marcas a rotulador trackeables mediante software
(indicadores pasivos)
-Sin marcadores: Utiliza descriptores complejos de vídeo cómo FD (face detector) combinados con la información de profundidad que aporta un sistema láser para reconocer la expresión y recrearla digitalmente.
(sin marcadores)
Debido a la naturaleza docente del trabajo y en mi reducido presupuesto, hay que escoger una técnica económica y que no requiera un gran equipo de personas a fin de hacerla funcionar. Por estos motivos me he decantado por la captura Óptica sin marcadores que se puede poner en práctica en casa o en plató tan sólo con un dispositivo Kinect de Microsoft XBOX, un adaptador usb, un ordenador y un software especializado.
–Render: La gran parte del aspecto visual final del proyecto depende del motor de render. Hay que elegir un motor que permita un acabado físico profesional y que al mismo tiempo sea óptimo en los tiempos de cálculo y compatible con el software 3D empleado.
Mi proyecto «compite» nada menos que con la película de Tolkien, muy entre comillas, ya que el objetivo no es una competición en el mercado sino la réplica precisa del original.
Este proyecto se diferencia del original principalmente en que, en el film, el personaje Gollum está integrado en el escenario filmado, yo pretendo generar la escena completa con CGI incluyendo el escenario y sobre todo que en el film se generó la animación manualmente y yo lo haré con captura de movimiento y posterior retoque manual.
En este proyecto quiero reproducir una escena original de la película «El Señor de los Anillos: Las Dos Torres” en la que aparece Gollum. En esta escena se ve una conversación entre las dos personalidades enfrentadas del personaje. Mediante el tiro de cámara, el gesto y la voz, el director diferenció una personalidad de la otra.
A nivel objetivo, he elegido esta escena ya que el personaje aparece él solo en su momento de protagonismo transmitiendo muchísima información interpretativa y con gran fuerza, dando pie a que luzca la detallada animación facial que posee. Asimismo, la duración de esta escena es asumible (unos 2 minutos) y el guión es coherente pese a que se descontextualice de la película.
Por otro lado, y a nivel más subjetivo, he elegido esta escena porque es una de mis favoritas de la película.
https://www.youtube.com/watch?v=EbzFmkHEv1Q
Diferenciemos el hardware del software:
Hardware:
-Ordenador portátil Sony Vaio
-Ordenador de sobremesa i7 32Gb Ram, Nvidia 1060
-Kineckt XBOX ONE
-Adaptados a usb 3.0 de Kineckt
-Tableta Waccom
Software:
-Photoshop: Para Hacer el blueprint, el storyboard, correcciones en las texturas y pruebas de composición.
-3Dstudio Max 2017: Para las tareas de modelado y animación 3D y composición de la escena.
-Uv Layoutit: Para hacer el despliegue de UV’s.
-ZBrush: Para crear la textura.
-Brekel pro Face v2: Para hacer las capturas faciales con Kineckt. -Ipi Soft: Para hacer captura corporal con Kineckt.
-After Effects: Para la composición y postproducción.
-Audacity: Para grabar la voz y editarla.
Cada uno de los procesos comentados a continuación se detallan en futuros apartados, pero en este quisiera hacer referencia a la relación entre las distintas fases del proyecto y al orden seguido.
En primer lugar, a finales del curso pasado decidí comenzar con el modelado ya que me dí cuenta que la magnitud del proyecto difícilmente me iba permitir terminarlo a tiempo. Para ello comencé la búsqueda de referentes y dibujé los blueprints. Una vez estuvieron listos y con la aprobación del tutor me puse a modelar. Hay que decir que los avances que hice en verano no fueron demasiado significativos. Cuando fué el momento de empezar a trabajar, el estado del modelo era algo parecido a esto:
Por lo tanto, ya se puede ver que no hice grandes progresos por aquellas fechas. Tenía una cabeza la que le faltaban muchos ajustes por hacer y nada del cuerpo.
Finalmente pude terminar el modelado antes de la fecha prevista y empezar con las texturas. Llegados a este punto, las reuniones con el tutor eran prácticamente semanales y por lo menos de una hora de duración, quedaba mucho por hacer… En estas reuniones hablamos sobre el itinerario a seguir, el tutor me mostraba herramientas nuevas para mi y me recomendaba frecuentes pruebas técnicas anticipándose a las distintas fases del proyecto que se sucedían.
Recuerdo que uno de los momentos más críticos fué cuando tuve que investigar qué tecnología se encontraba a mi alcance para hacer la captura facial, ya que los softwares especializados de este tipo escasean.
Primero lo intenté con faceshift, un programa que permitía la captura óptica sin marcadores, se trata de un programa bastante avanzado y con mucho detalle en la captura, el problema apareció en cuanto ví que estaba concebido para funcionar conectado a una cámara logitech, muy parecida en funcionamiento a kineckt pero lógicamente con drivers distintos. En la web de la empresa creadora proporcionaban un enlace de descarga a unos drivers alternativos (no oficiales) que supuestamente permitían al programa funcionar con mi kineckt, al intentar usarlos vi que se trataba de un código C# SIN compilar. Mis limitados conocimientos de programación hicieron que buscase ayuda, pero tanto profesores como compañeros no supieron ayudarme.
Se trataba de un sinfin de carpeta dentro de carpeta con instrucciones mal redactadas en inglés. Tuve que descartar este software y buscar otro.
Finalmente encontré a Brekelman, un programador estadounidense que desarrolló una herramienta similar a faceshift pero creada para kineckt llamada brekel pro face v2 para uso personal y posteriormente comercializada en su web (brekel.com). Era bastante menos sensible que faceshift, pero infinitamente más sencillo de preparar e instalar. Tras un par de pruebas nos dimos cuenta que ni por asomo la captura facial iba a poder sustituir por completo a la animación manual. Las capturas generadas necesitaban ser refinadas a posteriori y en muchos casos por no decir casi todos aparecían movimientos temblorosos, poco marcados y en muchos casos inventados a causa del ruido, por lo tanto, podemos decir que brekel ha hecho alrededor de un 20-30% del trabajo y yo el resto, puede parecer poco, pero por la simple pauta que te da la captura ya es bastante.
Cuando ya tuve el programa de captura facial, la labor consistió en identificar los diferentes morphs que usaba brekel y replicarlos en mi modelo. Estos morphs eran pocos y básicos, por lo que añadí unos cuantos morphs extra para animarlos manualmente para complementar la captura original. Recuerdo que aquél proceso de crear morphs se solapó sobre tareas siguientes ya que siempre se detectaba alguna cosa que mejorar o añadir
Una vez solucionado el problema de la captura facial, tocaba enfrentarse a la captura corporal, la cual me preocupaba bastante menos ya que el mercado de software compatible con kineckt es mayor. Tras poco tiempo descubrí ipi soft, un programa que permite hacer este tipo de captura, al hacer pruebas se obtenía el resultado deseado, pero me di cuenta de la cantidad de tiempo que conllevaría capturar y refinar las 21 escenas, en las que tan solo necesitaba el movimiento de la inclinación del torso (ya que la cabeza no se captura). Me resultaba mucho más rápido y obtuve mejores resultados haciéndolo a mano, así que solo usé captura corporal en una escena, el resto se animaron con animación keyframe tradicional.
Iba escena por escena animando primero las expresiones faciales mediante la captura y animación manual y posteriormente animaba manualmente el cuerpo creando una cámara provisional de referencia a la que el personaje se pudiese dirigir.
Se iban lanzando animáticas de prueba para comentarlas con el tutor y sugerir mejoras. Seguramente la animación fue la parte más larga y troncal del proyecto.
Antes de comenzar el render definitivo se compuso un fondo con árboles de librería, pero el pedestal sobre el que se encuentra el personaje es de modelado propio. A sugerencia del tutor, se investigaron los materiales sub-surface scattering para aplicarlos sobre la piel del personaje. Este acabado ha mejorado muchísimo el acabado final del render.
Finalmente, y tras muchas pruebas se produjo el render por capas del modelo para posteriormente montarlas y editarlas con After Effects.
Por último, se pasó a regrabar de nuevo el audio todo seguido ya que las capturas fueron hechas una a una, dando lugar a variaciones en el tono y el color de mi voz en cada una de ellas. Al encontrarme bien lejos de la voz de Gollum pese a forzarla, tuve que editar esta grabación para hacerla más parecida a la original.