Présentation détaillée du projet OpenVINO™
Aperçu
OpenVINO™ (Open Visual Inference and Neural Network Optimization) est une boîte à outils open source d'optimisation de l'inférence de l'apprentissage profond développée par Intel. Ce projet se concentre sur l'amélioration des performances d'inférence des modèles d'IA sur diverses plateformes matérielles, en particulier dans les domaines de la vision par ordinateur, de la reconnaissance vocale automatique, de l'IA générative et du traitement du langage naturel.
Le principe fondamental d'OpenVINO™ est de permettre aux développeurs de déployer facilement des modèles d'apprentissage profond entraînés dans des environnements de production, en obtenant des performances d'inférence optimales, que ce soit sur des appareils périphériques ou des serveurs cloud.
Fonctionnalités et caractéristiques principales
1. Optimisation de l'inférence
- Amélioration des performances de l'apprentissage profond : Optimisation spécifique pour les tâches de vision par ordinateur, de reconnaissance vocale automatique, d'IA générative, de traitement du langage naturel, etc.
- Prise en charge des grands modèles de langage : Prise en charge de l'inférence efficace des modèles de langage de grande et petite taille.
- Optimisation multi-tâches : Couverture de divers scénarios d'application d'IA courants.
2. Prise en charge flexible des modèles
- Compatibilité multi-framework : Prise en charge des principaux frameworks d'apprentissage profond tels que PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax.
- Intégration Hugging Face : Intégration directe via Optimum Intel des modèles transformers et diffusers du Hugging Face Hub.
- Aucun framework d'origine requis : Possibilité de convertir et de déployer des modèles sans l'environnement de framework d'entraînement d'origine.
3. Large compatibilité de plateforme
- Prise en charge du CPU : Optimisation des CPU d'architecture x86 et ARM.
- Prise en charge du GPU : Cartes graphiques intégrées et dédiées Intel.
- Accélérateurs d'IA : Intel NPU (Neural Network Processing Unit).
- De la périphérie au cloud : Prise en charge du déploiement complet, des appareils périphériques aux serveurs cloud.
4. API et outils riches
- API multi-langues : Fourniture d'interfaces de programmation dans divers langages tels que C++, Python, C, NodeJS.
- API GenAI : Interfaces API spécialement optimisées pour l'IA générative.
- Outils de conversion de modèles : Outils pratiques de conversion et d'optimisation des formats de modèles.
Principaux composants et écosystème
Outils et bibliothèques de base
- Neural Network Compression Framework (NNCF) : Techniques avancées d'optimisation de modèles, notamment la quantification, l'élagage de filtres, la binarisation et la sparsification.
- OpenVINO GenAI : Ressources et outils spécialement conçus pour les applications d'IA générative.
- OpenVINO Tokenizers : Outils de tokenisation pour le développement et l'optimisation d'applications d'IA générative.
Services et plateformes
- OpenVINO™ Model Server (OVMS) : Solution de service de modèles haute performance et évolutive.
- Intel® Geti™ : Outil interactif d'annotation de vidéos et d'images.
Intégrations et partenaires
- 🤗Optimum Intel : Intégration profonde avec l'API Hugging Face.
- Torch.compile : Prise en charge de l'optimisation de la compilation JIT pour les applications natives PyTorch.
- Intégration vLLM : Amélioration des capacités de service de modèles rapides de vLLM.
- ONNX Runtime : Fourniture en tant que fournisseur d'exécution ONNX Runtime.
- LlamaIndex et LangChain : Intégration profonde avec les principaux frameworks d'IA.
- Keras 3 : Prise en charge du framework d'apprentissage profond multi-backend Keras 3.
Exemples de démarrage rapide
Inférence de modèle PyTorch
import openvino as ov
import torch
import torchvision
# Charger le modèle PyTorch en mémoire
model = torch.hub.load("pytorch/vision", "shufflenet_v2_x1_0", weights="DEFAULT")
# Convertir le modèle en modèle OpenVINO
example = torch.randn(1, 3, 224, 224)
ov_model = ov.convert_model(model, example_input=(example,))
# Compiler le modèle pour le périphérique CPU
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')
# Effectuer l'inférence du modèle sur des données aléatoires
output = compiled_model({0: example.numpy()})
Inférence de modèle TensorFlow
import numpy as np
import openvino as ov
import tensorflow as tf
# Charger le modèle TensorFlow en mémoire
model = tf.keras.applications.MobileNetV2(weights='imagenet')
# Convertir le modèle en modèle OpenVINO
ov_model = ov.convert_model(model)
# Compiler le modèle pour le périphérique CPU
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')
# Effectuer l'inférence du modèle sur des données aléatoires
data = np.random.rand(1, 224, 224, 3)
output = compiled_model({0: data})
Ressources d'apprentissage
Documentation et tutoriels officiels
Exemples pratiques
- OpenVINO Notebooks : Riches tutoriels de notebooks Jupyter.
- Création d'un chatbot LLM
- Optimisation de YOLOv11
- Génération de texte en image
- Développement d'un assistant multimodal
- Application de reconnaissance vocale
Ressources communautaires
Avantages techniques
Optimisation des performances
- Optimisation approfondie spécifiquement pour l'architecture matérielle Intel.
- Prise en charge de diverses technologies d'accélération matérielle.
- Fourniture de données de tests de performance détaillées.
Facilité d'utilisation
- Processus d'installation simple :
pip install -U openvino
- Riches exemples de code et tutoriels.
- Documentation complète et support communautaire.
Flexibilité
- Prise en charge de divers frameworks d'apprentissage profond.
- Capacité de déploiement multiplateforme.
- Conception d'architecture extensible.
Installation et configuration système requise
Installation rapide
pip install -U openvino
Configuration système requise
Communauté et support
Obtenir de l'aide
Guide de contribution
Licence et confidentialité
Licence
La boîte à outils OpenVINO™ est distribuée sous la licence open source Apache License Version 2.0.
Collecte de données
OpenVINO™ collecte des données sur les performances et l'utilisation du logiciel afin d'améliorer les outils. Vous pouvez choisir de vous désinscrire en utilisant la commande suivante :
opt_in_out --opt_out
Conclusion
OpenVINO™ est une boîte à outils d'optimisation de l'inférence d'IA open source puissante et facile à utiliser, qui offre aux développeurs une solution complète, de l'entraînement des modèles au déploiement en production. Ses principaux avantages sont les suivants :
- Prise en charge complète des frameworks : Compatible avec tous les principaux frameworks d'apprentissage profond.
- Performances exceptionnelles : Optimisation approfondie pour le matériel Intel, offrant des performances d'inférence exceptionnelles.
- Large éventail de scénarios d'application : Couverture de plusieurs domaines tels que la vision par ordinateur, le NLP, l'IA générative, etc.
- Écosystème riche : Intégration profonde avec les principales plateformes telles que Hugging Face, PyTorch, TensorFlow, etc.
- Communauté active : Documentation complète, tutoriels et support communautaire.