sd-webui-controlnet - Descrição Detalhada do Projeto

Visão Geral do Projeto

sd-webui-controlnet é um plugin de extensão ControlNet desenvolvido para o Stable Diffusion WebUI da AUTOMATIC1111. Este projeto, mantido por Mikubill, é uma das extensões ControlNet WebUI mais populares e completas disponíveis.

Informações do Projeto

• Endereço do Projeto: https://github.com/Mikubill/sd-webui-controlnet
• Mantenedor Principal: Mikubill
• Tipo de Projeto: Plugin de Extensão WebUI

Funcionalidades Principais

1. Integração do ControlNet

• Suporte completo para as versões 1.0 e 1.1 do ControlNet
• Adiciona instantaneamente o ControlNet aos modelos Stable Diffusion originais, sem necessidade de mesclagem
• Suporte para vários tipos de modelos de controle

2. Suporte a Pré-Processadores

Suporte para vários pré-processadores de imagem:

• Canny: Detecção de bordas
• Depth: Geração de mapa de profundidade (incluindo Midas, Depth Anything V2)
• OpenPose: Detecção de pose humana
• Scribble: Controle de rabisco
• Segmentation: Segmentação de imagem
• Normal: Mapa normal
• Lineart: Extração de arte linear
• MLSD: Detecção de linha reta
• HED: Detecção de borda aninhada holística
• Reference-only: Modo de imagem de referência

3. Funcionalidades Avançadas

Suporte a Múltiplos ControlNets

• Pode usar várias entradas ControlNet simultaneamente em uma única geração
• Número máximo de modelos ajustável nas configurações

Modos de Controle

• Modo Balanceado: ControlNet funciona em ambos os lados da escala CFG
• Prompt é Mais Importante: Reduz gradualmente a influência do ControlNet
• ControlNet é Mais Importante: Funciona apenas no lado condicional do CFG

Modo Pixel Perfeito

• Calcula automaticamente a resolução ideal do pré-processador
• Garante que cada pixel corresponda perfeitamente ao Stable Diffusion

4. Suporte ao T2I-Adapter

Suporte completo para os modelos T2I-Adapter da TencentARC, incluindo:

• Color Adapter
• Style Adapter
• Sketch Adapter
• Depth Adapter

5. Funcionalidade IP-Adapter

• Adaptador de prompt de imagem
• Suporte a máscara CLIP
• Pré-processador automático IP-Adapter
• Controle de peso avançado

Características Técnicas

Reamostragem Inteligente de Imagem

• Produz duas imagens de controle durante a correção de alta resolução
• Imagem pequena para geração básica, imagem grande para correção de alta resolução
• Algoritmo inteligente garante reamostragem de imagem de controle de alta qualidade

Integração de Máscara

• Suporte perfeito para vários tipos de máscara A1111
• Suporte para "Inpaint masked"/"Inpaint not masked"
• Suporte para "Whole picture"/"Only masked"
• Correspondência perfeita com as opções de redimensionamento A1111

Modo de Processamento em Lote

• Suporte para processamento de imagens em lote
• Especifique o diretório de lote para cada unidade
• Pode ser usado nas abas txt2img e img2img

Método de Instalação

Instalação via WebUI

1. Abra a aba "Extensions"
2. Abra a sub-aba "Install from URL"
3. Em "URL for extension's git repository", insira:

   https://github.com/Mikubill/sd-webui-controlnet.git
   

4. Clique no botão "Install"
5. Aguarde a conclusão da instalação e reinicie o WebUI

Download de Modelos

• Acesse a página oficial de download de modelos: https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download
• Coloque os arquivos de modelo no diretório stable-diffusion-webui\extensions\sd-webui-controlnet\models

Suporte a API

API REST

• Inicie o WebUI com o parâmetro --api
• Acesse http://webui-address/docs para visualizar a documentação da API
• Suporte para tarefas txt2img e img2img

Chamadas Externas

• Suporte para outros scripts controlarem esta extensão
• Requer que "Allow other scripts to control this extension" seja habilitado nas configurações

Argumentos de Linha de Comando

A extensão adiciona os seguintes argumentos de linha de comando:

--controlnet-dir <path>                           # Adiciona o diretório do modelo ControlNet
--controlnet-annotator-models-path <path>        # Define o diretório do modelo do pré-processador
--no-half-controlnet                             # Carrega o modelo ControlNet em precisão total
--controlnet-preprocessor-cache-size             # Tamanho do cache de resultados do pré-processador
--controlnet-loglevel                            # Nível de log da extensão ControlNet
--controlnet-tracemalloc                         # Ativa o rastreamento de alocação de memória

Requisitos do Sistema

Configuração Mínima

• Windows/Linux/macOS
• NVIDIA GPU (4GB+ VRAM recomendado)
• Python 3.8+
• AUTOMATIC1111 WebUI

Otimização de Desempenho

• Use o parâmetro --xformers para melhorar o desempenho
• Ative o modo "Low VRAM" para dispositivos com pouca memória de vídeo
• Suporta resolução máxima de 768x832 (4GB VRAM)

Exemplos de Uso

Uso Básico

1. Habilite o ControlNet no WebUI
2. Selecione o tipo de pré-processador (por exemplo, Canny, Depth, etc.)
3. Carregue a imagem de controle ou deixe o pré-processador gerar automaticamente
4. Ajuste o peso e a intensidade da orientação
5. Gere a imagem

Uso do ControlNet

1. Aumente o número máximo de modelos nas configurações
2. Habilite várias unidades ControlNet simultaneamente
3. Defina diferentes pré-processadores e pesos para cada unidade
4. Combine várias condições de controle para gerar imagens

Resumo

sd-webui-controlnet é uma das extensões mais importantes no ecossistema Stable Diffusion, expandindo significativamente a controlabilidade e precisão da geração de imagens por IA. Artistas profissionais e amadores podem usar esta extensão para obter um controle de imagem mais preciso e possibilidades de criação mais ricas.