Deepfakes pour la danse: vous pouvez maintenant utiliser l’IA pour simuler ces mouvements de danse que vous avez toujours voulu

L’intelligence artificielle s’avère être un très capable de l’outil quand il s’agit de manipuler des vidéos de personnes. Face à la permutation de deepfakes ont été l’exemple le plus visible, mais les nouvelles applications sont découverts tous les jours. La dernière? Appeler deepfakes pour la danse — il utilise l’IA à lire à quelqu’un de pas de danse et les copier sur un corps de la cible.

La science ici a été fait par un quatuor de chercheurs de l’université de Berkeley. Comme ils le décrivent dans un article publié sur arXiV, leur système est composé d’un certain nombre d’étapes distinctes. Tout d’abord, une vidéo de la cible est enregistrée, et un sous-programme transforme le mouvement vers un chiffre de bâton. (Assez de beaucoup de vidéo qui est nécessaire pour obtenir une bonne qualité de transfert; à environ 20 minutes de gameplay à 120 images par seconde). Puis, une source vidéo est trouvé et un chiffre de bâton fait de leurs mouvements. Ensuite, le swap se passe, avec un réseau de neurones synthétisant vidéo de la cible à la personne basée sur le chiffre de bâton mouvements de la source.

Cela paraît simple comme ça, bien sûr, mais il y a beaucoup de malin génie à l’œuvre ici. Par exemple, il y a une sous-routine qui permet de lisser le mouvement des chiffres de bâton, de sorte que les danseurs ne pas jerk sur de trop, et un tout autre réseau de neurones dédiés à la re-traçage de la cible face à assurer le réalisme.

Il y a aussi des limites à ce programme. Le réseau ne peut pas modéliser avec précision lâche tissus par exemple, si la cible individu doit porter des vêtements serrés. Dans la vidéo ci-dessus, vous pouvez également voir quelques visuels des anomalies, des moments où les articulations de la cible et la source de la danseuse n’est pas tout à fait alignés, ou lorsque l’IA logiciel ne pouvais pas reproduire des mouvements complexes, comme une main de retournement de l’arrière vers l’avant.

Encore, si, c’est impressionnant le travail. C’est le genre de vidéo manipulation qui serait probablement prendre toute une équipe de jours pour produire. Maintenant, tout ce qu’il faut est un peu de la source vidéo et le droit de l’IA logiciel. S’attendre à être transformé en une application avant trop longtemps, et ne pense pas au sujet des répercussions possibles sur ce que la technologie de ce genre de faire de notre confiance des preuves vidéo.