Animation IA synchronisée audio avec Deforum Stable DiffusionColab | de ThisNFTisCrap | mars 2023

Créez des vidéos qui synchronisent automatiquement le zoom avec votre musique d’animation

Exemple de zoom audio synchronisé

Si vous avez visité notre Chaîne Youtube vous avez probablement rencontré quelques animations que nous avons réalisées avec des vidéos synchronisées avec le zoom avec l’audio.

Le zoom audio-synchronisé est un excellent moyen d’ajouter un niveau d’immersion à vos animations. Ici, nous allons décrire certains des flux de travail que nous avons utilisés pour les incorporer dans nos vidéos.

Nous allons continuer et supposer que vous connaissez la diffusion stable et comment le Déforum Stable Diffusion Colab travaux.

Si vous n’êtes pas familier, rendez-vous service et consultez le lien ci-dessus. Nous avons trouvé que Deforum était l’un des outils les plus conviviaux pour l’animation IA et la création d’images. De plus, si vous n’avez pas de GPU badass, vous pouvez utiliser les ressources GPU directement de Google pour une somme modique mensuelle. Nous vous suggérons fortement de consulter également ceci Guide rapide pour vous familiariser avec le bloc-notes et en savoir plus sur certaines des options et spécificités.

La première étape de la configuration de votre animation audio synchronisée consiste à déterminer quelle partie de votre musique avec laquelle vous souhaitez vous synchroniser. Autrement dit, voulez-vous zoomer sur un rythme de basse ? Peut-être en rythme avec la batterie ? Que diriez-vous juste quand il y a des voix? Si vous n’êtes pas sûr, vous pouvez utiliser des outils tels que Lalal.ai pour extraire différentes parties de votre audio.

Lalal.ai

Nous l’utilisons pour supprimer les pistes vocales, instrumentales, de batterie, de basse, de piano, de guitare électrique, de guitare acoustique et de synthétiseur sans perte de qualité. C’est un moyen rapide et facile d’analyser puis de télécharger la piste avec uniquement ces éléments.

Un exemple de la façon dont vous pouvez séparer et prévisualiser votre piste

Comme vous pouvez le voir, il existe quelques options différentes pour une piste donnée et un aperçu et un graphique de fréquence sont fournis à titre de référence visuelle. Il est utile de jouer et de vérifier les différentes options pour voir celle qui convient le mieux à votre animation. Une fois que vous avez trouvé ce qui fonctionne le mieux, nous avons tendance à utiliser Basse le plus souvent – vous pouvez télécharger un mp3 de votre audio.

Création d’images clés

Une fois que vous avez votre fichier audio, l’étape suivante consiste à créer vos images clés et la fonction de zoom. Nous aimons cette gratuité Générateur de chaîne audio vers image clé car il est très convivial et facile à utiliser.

Faites simplement glisser votre fichier audio et entrez votre fréquence d’images et votre fonction de zoom et vos images clés sont générées

Ici, nous faisons simplement glisser notre fichier audio et nous nous assurons que notre fréquence d’images correspond à notre vidéo. Vous avez la possibilité d’ajuster la fonction de zoom et, si vous êtes enclin aux mathématiques, vous pouvez même inclure des ondes sinusoïdales et d’autres ajustements. Nous avons tendance à laisser la fonction par défaut et à penser qu’elle fonctionne plutôt bien.

Une fois que vous avez entré toutes vos informations, vos informations d’image clé et de zoom seront fournies. Il s’agit d’une répartition image par image que vous devrez copier et coller dans Deforum. Vous pouvez soit copier manuellement tout cela, soit il existe une option pour copier la chaîne sur un bouton au bas des données d’image clé (non illustré).

Maintenant que vous avez vos données d’image clé, il est temps de retourner à votre cahier Deforum Colab et d’ajouter votre chaîne au Zoom saisie de votre Paramètres de mouvement (sous les paramètres d’animation).

Collez votre chaîne d’images clés dans l’entrée Zoom de la section Paramètres de mouvement de vos paramètres d’animation

Une fois que vous avez collé vos données de zoom d’image clé (et entré tous vos autres paramètres), vous êtes prêt à exécuter votre ordinateur portable et à commencer à créer vos images générées par l’IA. Ces images zoomeront en fonction de vos images clés et se synchroniseront avec votre audio – une fois ajoutées en post-production – pour une animation immersive générée par l’IA !

Nous aimons expérimenter Deforum et trouver de nouvelles façons de faire des animations. Rejoignez-nous sur l’un de nos réseaux sociaux pendant que nous continuons ce voyage et faites-nous savoir si vous trouvez d’autres façons de créer vos animations 💩

Suivez nos progrès :
Youtube
Instagram
Twitter

Comment avons-nous fait? Ceci est notre premier article sur Medium et nous en attendons beaucoup d’autres. Si vous avez des questions ou des commentaires, n’hésitez pas à nous contacter à ThisNFTisCrap@gmail.com

Leave a Reply

Your email address will not be published. Required fields are marked *

Most Popular

Get The Latest Updates

Subscribe To Our Weekly Newsletter

No spam, notifications only about new products, updates.

Tag

Lire

Articles Similaires