FaceSwap - Outil d'échange de visages basé sur l'apprentissage profond

Aperçu du projet

FaceSwap est un outil qui utilise des techniques d'apprentissage profond pour identifier et échanger les visages dans les images et les vidéos. Ce projet est open source et peut être exécuté sur plusieurs systèmes d'exploitation tels que Windows, Linux et MacOS.

Objectifs du projet

Le projet FaceSwap a des normes éthiques et des objectifs d'utilisation clairs :

Utilisations positives

• Utilisé pour l'expérimentation et la découverte de la technologie de l'IA
• Commentaires sociaux ou politiques
• Production de films
• Autres utilisations éthiques et raisonnables
• Fournir une éducation et une expérience à tous ceux qui souhaitent apprendre l'IA par eux-mêmes

Utilisations interdites

• Ne doit pas être utilisé pour créer du contenu inapproprié
• Ne doit pas être utilisé pour remplacer des visages sans consentement ou avec l'intention de dissimuler l'utilisation
• Ne doit pas être utilisé à des fins illégales, immorales ou suspectes

Caractéristiques techniques

Configuration requise

• Programme Python
• Prise en charge de plusieurs systèmes d'exploitation (Windows, Linux, MacOS)
• Nécessite un GPU moderne et la prise en charge de CUDA pour des performances optimales
• Prise en charge de nombreux GPU AMD via DirectML (Windows) et ROCm (Linux)

Principaux modules fonctionnels

1. Extraction de visage : Extraction des visages des photos originales
2. Entraînement du modèle : Entraînement du modèle basé sur les visages extraits
3. Conversion de visage : Utilisation du modèle entraîné pour l'échange de visages
4. Interface GUI : Fournit une interface utilisateur graphique

Processus d'utilisation

Étapes de base

1. Collecte de matériel : Préparation de photos et/ou de vidéos
2. Extraction de visage : Extraction des visages des photos originales
3. Entraînement du modèle : Entraînement du modèle sur les visages extraits
4. Application de la conversion : Utilisation du modèle pour convertir le matériel source

Opérations en ligne de commande

Extraction de visage

python faceswap.py extract

Cette commande extraira les photos du dossier src et extraira les visages dans le dossier extract.

Entraînement du modèle

python faceswap.py train

Cette commande utilisera un dossier contenant deux images de visage pour l'entraînement, et le modèle entraîné sera enregistré dans le dossier models.

Conversion de visage

python faceswap.py convert

Cette commande obtiendra des photos du dossier original et appliquera de nouveaux visages au dossier modified.

Interface GUI

python faceswap.py gui

Traitement vidéo

Les vidéos peuvent être traitées de la manière suivante :

python tools.py effmpeg -h

Ou utilisez ffmpeg pour convertir la vidéo en photos, traiter les images, puis reconvertir les images en vidéo.

Architecture du projet

Principaux modèles

• Modèle Phaze-A
• Modèle Villain
• Modèle Unbalanced
• Modèle OHR
• Modèle DFL-H128
• Modèle DFaker

Composants principaux

• Aligneur FAN
• Détecteur MTCNN
• Interface GUI

Obtenir de l'aide

Ressources documentaires

• INSTALL.md : Instructions d'installation complètes
• USAGE.md : Instructions d'utilisation détaillées
• Tous les scripts ont l'option -h/--help

Principes d'apprentissage automatique

FaceSwap fonctionne sur la base de l'apprentissage profond et des techniques de réseaux neuronaux. En termes simples, il fonctionne de la manière suivante :

• Données d'entraînement + Essais et erreurs = Processus d'apprentissage

L'ordinateur apprend à identifier et à façonner les visages grâce à de grandes quantités de données d'entraînement, un processus complexe d'apprentissage automatique qui implique un entraînement approfondi des réseaux neuronaux.

Contexte technique

Lorsque la technologie d'échange de visages a été développée et publiée pour la première fois, elle était révolutionnaire et constituait une étape importante dans le développement de l'IA. Avant les "deepfakes", ces technologies étaient comme de la magie noire, qui ne pouvait être pratiquée que par ceux qui comprenaient tous les rouages internes. L'émergence de FaceSwap a changé tout cela, permettant à quiconque de participer au développement de l'IA sans avoir de doctorat en mathématiques, en théorie informatique, en psychologie, etc.

Précautions

• La réutilisation des modèles existants est beaucoup plus rapide que l'entraînement à partir de zéro
• Si les données d'entraînement sont insuffisantes, vous pouvez commencer avec des personnes similaires, puis changer de données
• Le projet suit strictement les normes éthiques et adopte une tolérance zéro à l'égard de toute utilisation inappropriée
• Tous les problèmes de code d'exécution connexes doivent être soulevés dans le forum FaceSwap