Extension pour Stable Diffusion WebUI d'AUTOMATIC1111 qui fournit le support de ControlNet.

sd-webui-controlnet : Présentation détaillée du projet

Aperçu du projet

sd-webui-controlnet est un plugin d'extension ControlNet développé pour Stable Diffusion WebUI d'AUTOMATIC1111. Ce projet, maintenu par Mikubill, est l'une des extensions ControlNet WebUI les plus populaires et les plus complètes disponibles.

Informations sur le projet

• Adresse du projet: https://github.com/Mikubill/sd-webui-controlnet
• Principal mainteneur: Mikubill
• Type de projet: Plugin d'extension WebUI

Fonctionnalités principales

1. Intégration de ControlNet

• Prise en charge complète des versions ControlNet 1.0 et 1.1
• Ajout instantané de ControlNet aux modèles Stable Diffusion originaux, sans fusion
• Prise en charge de plusieurs types de modèles de contrôle

2. Prise en charge des préprocesseurs

Prise en charge de divers préprocesseurs d'image :

• Canny: Détection des contours
• Depth: Génération de carte de profondeur (y compris Midas, Depth Anything V2)
• OpenPose: Détection de la pose humaine
• Scribble: Contrôle par gribouillage
• Segmentation: Segmentation d'image
• Normal: Carte normale
• Lineart: Extraction de traits
• MLSD: Détection de lignes droites
• HED: Détection de contours imbriqués holistiques
• Reference-only: Mode image de référence

3. Fonctionnalités avancées

Prise en charge de plusieurs ControlNet

• Utilisation simultanée de plusieurs entrées ControlNet pour une seule génération
• Réglage du nombre maximal de modèles dans les paramètres

Modes de contrôle

• Mode équilibré: ControlNet fonctionne des deux côtés du ratio CFG
• L'invite est plus importante: Réduction progressive de l'influence de ControlNet
• ControlNet est plus important: Fonctionne uniquement du côté conditionnel du CFG

Mode Pixel Perfect

• Calcul automatique de la résolution optimale du préprocesseur
• Assure une correspondance parfaite de chaque pixel avec Stable Diffusion

4. Prise en charge de T2I-Adapter

Prise en charge complète des modèles T2I-Adapter de TencentARC, notamment :

• Color Adapter
• Style Adapter
• Sketch Adapter
• Depth Adapter

5. Fonctionnalités IP-Adapter

• Adaptateur d'invite d'image
• Prise en charge du masque CLIP
• Préprocesseur automatique IP-Adapter
• Contrôle avancé du poids

Caractéristiques techniques

Rééchantillonnage intelligent des images

• Sortie de deux images de contrôle lors de la restauration haute résolution
• Petite image pour la génération de base, grande image pour la restauration haute résolution
• Algorithme intelligent assurant un rééchantillonnage d'image de contrôle de haute qualité

Intégration du masque

• Prise en charge parfaite de divers types de masques A1111
• Prise en charge de "Inpaint masked"/"Inpaint not masked"
• Prise en charge de "Whole picture"/"Only masked"
• Correspondance parfaite avec les options de redimensionnement d'A1111

Mode de traitement par lots

• Prise en charge du traitement par lots d'images
• Spécification d'un répertoire de traitement par lots pour chaque unité
• Utilisable dans les onglets txt2img et img2img

Méthode d'installation

Installation via WebUI

1. Ouvrez l'onglet "Extensions"
2. Ouvrez le sous-onglet "Install from URL"
3. Dans "URL for extension's git repository", entrez :

   https://github.com/Mikubill/sd-webui-controlnet.git
   

4. Cliquez sur le bouton "Install"
5. Attendez la fin de l'installation et redémarrez WebUI

Téléchargement du modèle

• Visitez la page de téléchargement officielle du modèle : https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download
• Placez les fichiers de modèle dans le répertoire stable-diffusion-webui\extensions\sd-webui-controlnet\models

Prise en charge de l'API

API REST

• Démarrez WebUI avec le paramètre --api
• Visitez http://webui-address/docs pour consulter la documentation de l'API
• Prise en charge des tâches txt2img et img2img

Appel externe

• Prise en charge du contrôle de cette extension par d'autres scripts
• Nécessite l'activation de "Allow other scripts to control this extension" dans les paramètres

Paramètres de ligne de commande

L'extension ajoute les paramètres de ligne de commande suivants :

--controlnet-dir <path>                           # Ajouter un répertoire de modèles ControlNet
--controlnet-annotator-models-path <path>        # Définir le répertoire des modèles de préprocesseur
--no-half-controlnet                             # Charger les modèles ControlNet en pleine précision
--controlnet-preprocessor-cache-size             # Taille du cache des résultats du préprocesseur
--controlnet-loglevel                            # Niveau de journalisation de l'extension ControlNet
--controlnet-tracemalloc                         # Activer le suivi de l'allocation de mémoire

Configuration système requise

Configuration minimale

• Windows/Linux/macOS
• NVIDIA GPU (4 Go+ de VRAM recommandés)
• Python 3.8+
• AUTOMATIC1111 WebUI

Optimisation des performances

• Utilisez le paramètre --xformers pour améliorer les performances
• Activez le mode "Low VRAM" pour les appareils à faible mémoire vidéo
• Prise en charge d'une résolution maximale de 768x832 (4 Go de VRAM)

Exemples d'utilisation

Utilisation de base

1. Activez ControlNet dans WebUI
2. Sélectionnez le type de préprocesseur (par exemple, Canny, Depth, etc.)
3. Téléchargez une image de contrôle ou laissez le préprocesseur la générer automatiquement
4. Ajustez le poids et l'intensité du guidage
5. Générez l'image

Utilisation de plusieurs ControlNet

1. Augmentez le nombre maximal de modèles dans les paramètres
2. Activez simultanément plusieurs unités ControlNet
3. Définissez différents préprocesseurs et poids pour chaque unité
4. Combinez plusieurs conditions de contrôle pour générer l'image

Conclusion

sd-webui-controlnet est l'une des extensions les plus importantes de l'écosystème Stable Diffusion, elle étend considérablement la contrôlabilité et la précision de la génération d'images par IA. Qu'il s'agisse d'artistes professionnels ou d'amateurs, cette extension permet un contrôle plus précis des images et des possibilités de création plus riches.