Técnica para mantener un estilo consistente y reducir el parpadeo en una animacion generada por IA.*Github https://github.com/Sxela/DiscoDiffusion-Warp*Colab https://colab.research.google.com/drive/15D2WIF_vE2l48ddxEx45cM3RykZwQXM8?usp=sharing
Time-Travel Rephotography: Restauración de retratos
Un método de restauración de retratos antiguos, no solo es una colorización, si no, una reestructuración completa de la fotografía para reconstruirla como si hubiera sido tomada por una cámara moderna. Básicamente transporta la imagen a un espacio de una StyleGAN2 entrenada con retratos modernos en alta resolución, logrando eliminación de ruido, coloración y superresolución simultáneamente.*Web https://time-travel-rephotography.github.io/*Colab https://colab.research.google.com/drive/15D2WIF_vE2l48ddxEx45cM3RykZwQXM8?usp=sharing*Paper https://arxiv.org/pdf/2012.12261.pdf
SRT – Scene Representation Transformer: Síntesis de una escena 3D completa
A partir de pocas imágenes este sistema reconstruye una escena en tiempo real, “alucinando” aquellas partes de la escena que no conoce para darle coherencia.*Web https://srt-paper.github.io/*Colab https://colab.research.google.com/github/srt-paper/srt-paper.github.io/blob/main/multi_shapenet.ipynb*Github https://github.com/stelzner/srt*Paper https://arxiv.org/abs/2111.13152
Dream Fields: Texto a 3D
Dreamfields un sistema que crea modelos 3D a partir de indicaciones de texto. *Colab: https://colab.research.google.com/drive/1TjCWS2_Q0HJKdi9wA2OSY7avmFUQYGje?usp=sharing*Web https://ajayj.com/dreamfields*Github https://github.com/google-research/google-research/tree/master/dreamfields*Paper https://arxiv.org/abs/2112.01455
VGPNN: Generación y manipulación de video
Una herramienta que permite la manipulación de video (Extensión temporal, resumen, redimensionamiento, aplicación de estilo entre otros) sin el uso de deep learning, si no con un enfoque más clásico basado en Granot et al. (2021) permitiendo procesamientos sustancialmente rápidos. * Web https://nivha.github.io/vgpnn/ *github https://github.com/nivha/single_video_generation *paper https://arxiv.org/abs/2109.08591
Spleeter4Max: Una herramienta para separar pistas de audio en Ableton utilizando Spleeter
Spleeter4Max es una herramienta que permite separar pistas de audio en Ableton utilizando Spleeter, facilitando el proceso de descomposición de canciones en diferentes elementos como voces e instrumentos.*Ableton https://github.com/diracdeltas/spleeter4max/releases *Max https://github.com/diracdeltas/spleeter4max/tree/feature/native-spleeter#spleeter-for-max-native-version *Tutorial https://www.youtube.com/watch?v=4pcJoI5CUOA
InstColorization: Colorización de imágenes
Colorización de imágenes con reconocimiento de instancias, dicho de otro modo, un sistema de IA que colorea imagenes blanco y negro despues de identificar los objetos que hay en la imagen, para colorearla parte por parte. *Web https://wandb.ai/wandb/instacolorization/reports/Overview-Instance-Aware-Image-Colorization---VmlldzoyOTk3MDI *Colab https://colab.research.google.com/github/ericsujw/InstColorization/blob/master/InstColorization.ipynb *Github https://github.com/ericsujw/InstColorization *Paper https://cgv.cs.nthu.edu.tw/InstColorization_data/InstaColorization.pdf
Spleeter de Deezer: Una biblioteca para la separación de fuentes de audio con modelos preentrenados
Spleeter es una biblioteca de separación de fuentes de audio desarrollada por Deezer que incluye modelos preentrenados. Escrito en Python y utilizando TensorFlow, facilita la separación de pistas de audio en diferentes componentes, como voces, batería, bajo, entre otros, con una alta velocidad de procesamiento, especialmente en una GPU. Puede ser utilizado directamente desde la línea de comandos o integrado en pipelines de desarrollo como una biblioteca de Python.*Web https://pypi.org/project/spleeter/ *Colab https://colab.research.google.com/github/deezer/spleeter/blob/master/spleeter.ipynb *Manual https://github.com/deezer/spleeter/wiki *Github https://github.com/deezer/spleeter
MuseNet: Una red neuronal profunda que genera composiciones musicales con diferentes instrumentos y estilos.
MuseNet es una red neuronal profunda desarrollada por OpenAI que puede generar composiciones musicales de 4 minutos con hasta 10 diferentes instrumentos, combinando estilos desde country hasta Mozart o The Beatles. MuseNet no fue programada explícitamente con una comprensión de la música, sino que descubrió patrones de armonía, ritmo y estilo aprendiendo a predecir el siguiente token en cientos de miles de archivos MIDI. Utiliza una tecnología no supervisada general similar a GPT-2. *Web https://openai.com/research/musenet *Colab https://colab.research.google.com/github/asigalov61/OpenAI-MuseNet-Colab-Notebook/blob/main/OpenAI_MuseNet_Colab_Notebook.ipynb
MediaPipe Hands: Seguimiento de pose de manos en tiempo real, multiplataforma
MediaPipe Hands es una solución de seguimiento de manos y dedos de alta fidelidad. Emplea el aprendizaje automático (ML) para inferir 21 puntos 3D de una mano a partir de un solo frame Logra un rendimiento en tiempo real en un teléfono móvil e incluso en la web para varias manos. * Web https://google.github.io/mediapipe/solutions/hands *Demo https://rdtr01.xl.digital/ *Demo+Codigo https://codepen.io/mediapipe/pen/RwGWYJw *Github https://github.com/google/mediapipe
WaveNet: Un modelo generativo para audio en bruto
WaveNet es un modelo generativo profundo que puede crear ondas de audio crudas, capaz de generar habla que imita cualquier voz humana, sonando más natural que los sistemas de texto a voz existentes (2016). Además, puede sintetizar otros tipos de señales de audio, como música, generando piezas de piano automáticamente con resultados sorprendentes.*Web https://www.deepmind.com/research/highlighted-research/wavenet *Demo https://play.ht/text-to-speech-voices/google-wavenet/ *Colab https://colab.research.google.com/github/olaviinha/WaveNet/blob/master/WaveNet.ipynb#scrollTo=Zidq9-vvLF7l *Github https://github.com/ibab/tensorflow-wavenet
