Skyvern - Plateforme d'automatisation de navigateur pilotée par l'IA

Aperçu du projet

Skyvern est une plateforme qui aide les entreprises à automatiser les flux de travail de navigateur en utilisant des LLM (grands modèles de langage) et des technologies de vision par ordinateur. Elle fournit des points de terminaison API simples pour automatiser complètement les flux de travail manuels, remplaçant ainsi les solutions d'automatisation fragiles ou peu fiables.

Contexte du projet

Fondée en 2023 par Suchintan Singh et Shuchang Zheng, Skyvern a son siège à San Francisco, en Californie, aux États-Unis, et compte actuellement 3 employés. L'équipe fondatrice a échangé avec des centaines d'entreprises et a constaté que la plupart d'entre elles dépendaient de flux de travail manuels répétitifs, dont l'ampleur est surprenante : la plupart des entreprises commencent par effectuer le travail manuellement, puis finissent soit par embaucher du personnel pour étendre le travail manuel, soit par écrire des scripts à l'aide de bibliothèques d'automatisation de navigateur comme Selenium.

Caractéristiques principales

1. Opérations intelligentes pilotées par l'IA

• Intégration LLM : Skyvern est un outil d'automatisation de navigateur natif piloté par l'IA qui simule les interactions humaines (clics, saisie, navigation, téléchargement) et fonctionne sur n'importe quelle interface Web.
• Vision par ordinateur : Combine la technologie de vision par ordinateur pour identifier et manipuler les éléments de la page Web.
• API en langage naturel : Fournit une API en langage naturel pour automatiser les flux de travail manuels répétitifs qui se produisent dans le back-office des entreprises.

2. Correspondance des informations contextuelles

Skyvern accepte des blocs d'informations lors de la navigation dans les flux de travail : un simple bloc de données JSON contenant toutes les informations que vous souhaitez insérer, puis utilise un LLM pour les mapper aux informations à l'écran. Par exemple : si vous générez un devis d'assurance automobile aux États-Unis, le système peut intelligemment mapper les données aux champs de formulaire correspondants.

3. Gestion des flux de travail

Skyvern prend en charge l'enchaînement de plusieurs tâches en un flux de travail, en exécutant chaque tâche séquentiellement via un point de terminaison API pour effectuer des opérations complexes.

4. Surveillance et débogage en temps réel

• Streaming en temps réel : Skyvern vous permet de diffuser en continu la fenêtre du navigateur vers votre machine locale, afin que vous puissiez voir exactement ce que Skyvern fait sur le Web.
• Débogueur visuel : L'outil visuel vous permet de déboguer les interactions sur le Web. L'IA de Skyvern fournit un raisonnement détaillé pour les opérations, garantissant ainsi la transparence et le contrôle.

Avantages techniques

1. Pas besoin de réécrire le code

Contrairement à l'automatisation avec du code, Skyvern peut gérer sans problème les modifications subtiles de la structure du site Web, ce qui résout le problème de l'échec des scripts d'automatisation traditionnels après une mise à jour du site Web.

2. Compatibilité étendue

• Prend en charge une variété de sites Web et d'interfaces Web.
• Pas besoin d'écrire des scripts spécifiques pour chaque site Web.
• Capable de gérer le contenu dynamique et les interactions complexes.

3. Caractéristiques Open Source

Le projet est entièrement open source, le code étant hébergé sur GitHub, ce qui permet aux développeurs de l'utiliser, de le modifier et d'y contribuer librement.

Installation et déploiement

Commencer à utiliser Skyvern est un processus simple, avec des instructions complètes pour l'installation locale à l'aide de GitHub, Docker et des outils de ligne de commande. Le processus d'installation comprend généralement :

# Cloner le projet
git clone https://github.com/Skyvern-AI/skyvern.git

# Déployer avec Docker
docker-compose up -d

# Ou installer via l'outil de ligne de commande
pip install skyvern

Cas d'utilisation

1. Automatisation du back-office des entreprises

• Saisie de données et remplissage de formulaires
• Génération de rapports et extraction de données
• Opérations et traitement par lots

2. E-commerce et processus d'achat

Par exemple, le système peut naviguer jusqu'au panier et vérifier son état, puis effectuer l'achat via le processus de paiement.

3. Assurance et services financiers

• Génération automatique de devis d'assurance
• Traitement des formulaires et gestion des données clients
• Contrôles de conformité et audits

Modèle économique

Bien qu'il s'agisse d'un service payant, la création d'un compte est relativement facile au moment de la rédaction de cet article. Le projet propose à la fois une version open source et des services commerciaux.

Conclusion

Skyvern représente une avancée significative dans le domaine de l'automatisation des navigateurs. Il combine une technologie d'IA avancée, des fonctionnalités open source et une fiabilité de niveau entreprise, offrant une solution puissante et flexible aux entreprises qui ont besoin d'automatiser les opérations Web répétitives. En éliminant la complexité et la fragilité de l'écriture de scripts traditionnels, Skyvern rend l'automatisation des navigateurs plus intelligente, plus fiable et plus facile à maintenir.