Extensión para Stable Diffusion WebUI de AUTOMATIC1111 que proporciona soporte para ControlNet

sd-webui-controlnet: Descripción Detallada del Proyecto

Resumen del Proyecto

sd-webui-controlnet es un plugin de extensión ControlNet desarrollado para Stable Diffusion WebUI de AUTOMATIC1111. Este proyecto, mantenido por Mikubill, es una de las extensiones ControlNet WebUI más populares y completas disponibles actualmente.

Información del Proyecto

• Dirección del Proyecto: https://github.com/Mikubill/sd-webui-controlnet
• Mantenedor Principal: Mikubill
• Tipo de Proyecto: Plugin de Extensión WebUI

Funciones Principales

1. Integración de ControlNet

• Soporte completo para ControlNet versiones 1.0 y 1.1
• Adición instantánea de ControlNet a modelos Stable Diffusion originales, sin necesidad de fusión
• Soporte para múltiples tipos de modelos de control

2. Soporte de Preprocesadores

Soporte para varios preprocesadores de imagen:

• Canny: Detección de bordes
• Depth: Generación de mapas de profundidad (incluyendo Midas, Depth Anything V2)
• OpenPose: Detección de pose humana
• Scribble: Control de garabatos
• Segmentation: Segmentación de imágenes
• Normal: Mapa de normales
• Lineart: Extracción de líneas
• MLSD: Detección de líneas rectas
• HED: Detección de bordes anidados holísticos
• Reference-only: Modo de imagen de referencia

3. Funciones Avanzadas

Soporte Multi ControlNet

• Uso simultáneo de múltiples entradas ControlNet en una sola generación
• Ajuste del número máximo de modelos en la configuración

Modos de Control

• Modo Balanceado: ControlNet funciona en ambos lados de la escala CFG
• Prompt es más importante: Reduce gradualmente la influencia de ControlNet
• ControlNet es más importante: Funciona solo en el lado condicional de CFG

Modo Pixel Perfect

• Cálculo automático de la resolución óptima del preprocesador
• Asegura que cada píxel coincida perfectamente con Stable Diffusion

4. Soporte T2I-Adapter

Soporte completo para los modelos T2I-Adapter de TencentARC, incluyendo:

• Color Adapter
• Style Adapter
• Sketch Adapter
• Depth Adapter

5. Funcionalidad IP-Adapter

• Adaptador de indicaciones de imagen
• Soporte de máscara CLIP
• Preprocesador automático IP-Adapter
• Control avanzado de peso

Características Técnicas

Remuestreo Inteligente de Imágenes

• Salida de dos imágenes de control durante la reparación de alta resolución
• Imagen pequeña para la generación base, imagen grande para la reparación de alta resolución
• Algoritmo inteligente que asegura un remuestreo de imágenes de control de alta calidad

Integración de Máscaras

• Soporte perfecto para varios tipos de máscaras A1111
• Soporte para "Inpaint masked"/"Inpaint not masked"
• Soporte para "Whole picture"/"Only masked"
• Coincidencia perfecta con las opciones de cambio de tamaño de A1111

Modo de Procesamiento por Lotes

• Soporte para procesamiento por lotes de imágenes
• Especificación de directorios de lotes para cada unidad
• Utilizable en las pestañas txt2img e img2img

Método de Instalación

Instalación a través de WebUI

1. Abrir la pestaña "Extensions"
2. Abrir la subpestaña "Install from URL"
3. Introducir en "URL for extension's git repository":

   https://github.com/Mikubill/sd-webui-controlnet.git
   

4. Hacer clic en el botón "Install"
5. Esperar a que la instalación se complete y reiniciar WebUI

Descarga de Modelos

• Visitar la página oficial de descarga de modelos: https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download
• Colocar los archivos del modelo en el directorio stable-diffusion-webui\extensions\sd-webui-controlnet\models

Soporte API

REST API

• Iniciar WebUI con el parámetro --api
• Visitar http://webui-address/docs para ver la documentación de la API
• Soporte para tareas txt2img e img2img

Llamadas Externas

• Soporte para que otros scripts controlen esta extensión
• Necesario habilitar "Allow other scripts to control this extension" en la configuración

Argumentos de Línea de Comandos

La extensión añade los siguientes argumentos de línea de comandos:

--controlnet-dir <path>                           # Añade el directorio del modelo ControlNet
--controlnet-annotator-models-path <path>        # Establece el directorio del modelo del preprocesador
--no-half-controlnet                             # Carga el modelo ControlNet con precisión completa
--controlnet-preprocessor-cache-size             # Tamaño de la caché de resultados del preprocesador
--controlnet-loglevel                            # Nivel de registro de la extensión ControlNet
--controlnet-tracemalloc                         # Habilita el seguimiento de la asignación de memoria

Requisitos del Sistema

Configuración Mínima

• Windows/Linux/macOS
• NVIDIA GPU (Recomendado 4GB+ VRAM)
• Python 3.8+
• AUTOMATIC1111 WebUI

Optimización del Rendimiento

• Usar el parámetro --xformers para mejorar el rendimiento
• Habilitar el modo "Low VRAM" para dispositivos con poca memoria de vídeo
• Soporta una resolución máxima de 768x832 (4GB VRAM)

Ejemplos de Uso

Uso Básico

1. Habilitar ControlNet en WebUI
2. Seleccionar el tipo de preprocesador (ej. Canny, Depth, etc.)
3. Subir una imagen de control o dejar que el preprocesador la genere automáticamente
4. Ajustar el peso y la intensidad de la guía
5. Generar la imagen

Uso de Múltiples ControlNet

1. Aumentar el número máximo de modelos en la configuración
2. Habilitar múltiples unidades ControlNet simultáneamente
3. Establecer diferentes preprocesadores y pesos para cada unidad
4. Combinar múltiples condiciones de control para generar la imagen

Resumen

sd-webui-controlnet es una de las extensiones más importantes en el ecosistema de Stable Diffusion, expandiendo significativamente la controlabilidad y precisión de la generación de imágenes con IA. Tanto artistas profesionales como aficionados pueden lograr un control de imagen más preciso y posibilidades creativas más ricas a través de esta extensión.