Horovod é um framework de treinamento de aprendizagem profunda distribuída de código aberto desenvolvido pela Uber. Seu objetivo é tornar o treinamento de aprendizagem profunda distribuída mais simples, rápido e fácil de usar. O Horovod suporta frameworks populares de aprendizagem profunda como TensorFlow, Keras, PyTorch e Apache MXNet.
O Horovod suporta principalmente os seguintes frameworks de aprendizagem profunda:
O Horovod suporta os seguintes mecanismos de comunicação:
O processo de instalação do Horovod depende do framework de aprendizagem profunda e do mecanismo de comunicação que você está usando. Normalmente, você precisa instalar o MPI ou NCCL primeiro e, em seguida, instalar o Horovod usando o pip.
Por exemplo, para instalar o Horovod usando pip com suporte para TensorFlow e NCCL, você pode executar o seguinte comando:
pip install horovod[tensorflow,gpu]
Consulte a documentação oficial do Horovod para obter instruções de instalação mais detalhadas: https://github.com/horovod/horovod
O uso do Horovod para treinamento distribuído geralmente envolve as seguintes etapas:
horovod.init() para inicializar o Horovod.DistributedOptimizer: Use o DistributedOptimizer fornecido pelo Horovod para encapsular o otimizador original.Aqui está um exemplo simples de como usar o Horovod para treinamento distribuído do TensorFlow:
import tensorflow as tf
import horovod.tensorflow as hvd
# 1. Inicializar o Horovod
hvd.init()
# 2. Fixar GPU
gpus = tf.config.experimental.list_physical_devices('GPU')
for gpu in gpus:
tf.config.experimental.set_memory_growth(gpu, True)
if gpus:
tf.config.experimental.set_visible_devices(gpus[hvd.local_rank()], 'GPU')
# 3. Carregar o conjunto de dados
(mnist_images, mnist_labels), _ = tf.keras.datasets.mnist.load_data()
dataset = tf.data.Dataset.from_tensor_slices(
(tf.cast(mnist_images[..., None] / 255.0, tf.float32),
tf.cast(mnist_labels, tf.int64)))
dataset = dataset.repeat().shuffle(10000).batch(128)
# 4. Construir o modelo
model = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(32, [3, 3], activation='relu'),
tf.keras.layers.Conv2D(64, [3, 3], activation='relu'),
tf.keras.layers.MaxPooling2D(pool_size=(2, 2)),
tf.keras.layers.Dropout(0.25),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(128, activation='relu'),
tf.keras.layers.Dropout(0.5),
tf.keras.layers.Dense(10, activation='softmax')
])
# 5. Definir o otimizador
opt = tf.keras.optimizers.Adam(0.001 * hvd.size()) # Escalonar a taxa de aprendizado
# 6. Usar DistributedOptimizer
opt = hvd.DistributedOptimizer(opt)
# 7. Definir a função de perda e métricas
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy()
metric = tf.keras.metrics.SparseCategoricalAccuracy()
# 8. Definir a etapa de treinamento
@tf.function
def train_step(images, labels):
with tf.GradientTape() as tape:
probs = model(images, training=True)
loss = loss_fn(labels, probs)
tape = hvd.DistributedGradientTape(tape)
gradients = tape.gradient(loss, model.trainable_variables)
opt.apply_gradients(zip(gradients, model.trainable_variables))
metric.update_state(labels, probs)
return loss
# 9. Transmitir variáveis iniciais
@tf.function
def initialize_vars():
if hvd.rank() == 0:
model(tf.zeros((1, 28, 28, 1)))
hvd.broadcast_variables(model.variables, root_rank=0)
hvd.broadcast_variables(opt.variables(), root_rank=0)
initialize_vars()
# 10. Loop de treinamento
for batch, (images, labels) in enumerate(dataset.take(10000 // hvd.size())):
loss = train_step(images, labels)
if batch % 10 == 0 and hvd.rank() == 0:
print('batch: %d, loss: %.4f, accuracy: %.2f' % (batch, loss, metric.result()))
Horovod é um poderoso framework de aprendizagem profunda distribuída que pode ajudá-lo a treinar modelos de aprendizagem profunda em larga escala com mais facilidade e rapidez. Ao utilizar vários nós de GPU ou CPU, o Horovod pode reduzir significativamente o tempo de treinamento e melhorar a precisão do modelo.