YOLOv5, un modèle de détection d'objets en temps réel de pointe basé sur PyTorch, prend en charge la détection d'objets, la segmentation d'images et les tâches de classification d'images.
YOLOv5, le modèle de détection d'objets en temps réel le plus avancé basé sur PyTorch, prend en charge la détection d'objets, la segmentation d'images et les tâches de classification d'images.
Bibliothèque d'inférence et d'entraînement accélérés avec des outils d'optimisation matérielle pour Transformers, Diffusers, TIMM et Sentence Transformers
Plateforme de déploiement de modèles d'apprentissage automatique à grande échelle basée sur Kubernetes, utilisée pour empaqueter, déployer, surveiller et gérer des milliers de modèles d'apprentissage automatique de niveau production.
Une boîte à outils de déploiement de modèles d'apprentissage profond et de grands modèles de langage rapide et facile à utiliser, prenant en charge le déploiement dans le cloud, sur mobile et en périphérie. Comprend plus de 20 scénarios courants et plus de 150 modèles SOTA dans les domaines de l'image, de la vidéo, du texte et de l'audio, avec une optimisation de bout en bout, une prise en charge multiplateforme et multiframework.
NVIDIA® TensorRT™ est un SDK pour l'inférence de deep learning haute performance sur les GPU NVIDIA. Ce dépôt contient les composants open source de TensorRT.
Portage C/C++ haute performance du modèle de reconnaissance vocale OpenAI Whisper, prenant en charge l'inférence CPU pure et le déploiement multiplateforme.
OpenVINO™ est une boîte à outils open source pour optimiser et déployer l'inférence IA, prenant en charge les applications d'apprentissage profond telles que la vision par ordinateur, la reconnaissance vocale automatique, l'IA générative et le traitement du langage naturel.
PowerInfer est un moteur d'inférence de modèles de langage de grande taille à haute vitesse, conçu pour un déploiement local. Il utilise l'activation parcimonieuse et une architecture hybride CPU/GPU pour réaliser une inférence LLM rapide sur du matériel grand public.
La manière la plus simple de déployer des applications et des services de modèles d'IA - Construire des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles, etc.
MindSpore est un framework d'apprentissage profond multi-scènes conçu pour offrir aux développeurs une conception conviviale, une exécution efficace et une expérience de déploiement flexible. Il prend en charge le déploiement dans le cloud, en périphérie et côté terminal, et fournit une riche bibliothèque de modèles et d'outils pour faciliter le développement d'applications d'IA.
DeepSpeed-MII : Déployez et exécutez facilement de grands modèles d'IA avec le moteur d'optimisation DeepSpeed, pour une faible latence et un débit élevé.
Text Generation Inference (TGI) est une bibliothèque Rust pour le déploiement à grande échelle de modèles de génération de texte. Elle est conçue pour des performances élevées, une faible latence et une utilisation efficace des ressources, particulièrement adaptée aux environnements de production.