LLM 및 컴퓨터 비전 기술을 사용하여 브라우저 워크플로우를 자동화하는 오픈 소스 AI 에이전트 도구
Skyvern - AI 기반 브라우저 자동화 플랫폼
프로젝트 개요
Skyvern은 기업이 LLM(대규모 언어 모델)과 컴퓨터 비전 기술을 사용하여 브라우저 워크플로우를 자동화하도록 돕는 플랫폼입니다. 취약하거나 신뢰할 수 없는 자동화 솔루션을 대체하여 수동 워크플로우를 완전히 자동화할 수 있는 간단한 API 엔드포인트를 제공합니다.
프로젝트 배경
Skyvern은 2023년에 Suchintan Singh과 Shuchang Zheng에 의해 설립되었으며, 미국 캘리포니아주 샌프란시스코에 본사를 두고 현재 3명의 직원이 있습니다. 창립팀은 수백 개의 회사와 소통하면서 대부분의 회사가 반복적인 수동 워크플로우에 의존하고 있다는 사실을 발견했습니다. 이러한 워크플로우의 범위는 놀라울 정도로 넓습니다. 대부분의 회사는 처음에는 수동으로 작업을 완료하고, 결국 인력을 고용하여 수동 작업을 확장하거나 Selenium과 유사한 브라우저 자동화 라이브러리를 사용하여 스크립트를 작성합니다.
핵심 기능
1. AI 기반의 스마트한 작업
- LLM 통합: Skyvern은 AI 기반의 브라우저 네이티브 자동화 도구로, 클릭, 입력, 탐색, 업로드 등 인간의 상호 작용을 시뮬레이션하며 모든 웹 인터페이스에서 작동합니다.
- 컴퓨터 비전: 컴퓨터 비전 기술을 결합하여 웹 페이지 요소를 식별하고 조작합니다.
- 자연어 API: 기업 백오피스에서 발생하는 반복적인 수동 워크플로우를 자동화하는 자연어 API를 제공합니다.
2. 컨텍스트 정보 매칭
Skyvern은 워크플로우를 탐색할 때 정보 블록을 허용합니다. 넣고 싶은 모든 정보가 포함된 JSON 데이터 블록 하나만 있으면 LLM을 사용하여 화면의 정보에 매핑합니다. 예를 들어, 미국에서 자동차 보험 견적을 생성하는 경우 시스템은 데이터를 해당 양식 필드에 지능적으로 매핑할 수 있습니다.
3. 워크플로우 관리
Skyvern은 여러 작업을 워크플로우로 연결하여 API 엔드포인트를 통해 각 작업을 순차적으로 실행하여 복잡한 작업 흐름을 완료할 수 있도록 지원합니다.
4. 실시간 모니터링 및 디버깅
- 실시간 스트리밍: Skyvern을 사용하면 브라우저의 뷰포트를 로컬 시스템으로 실시간 스트리밍할 수 있으므로 Skyvern이 웹에서 무엇을 하는지 정확하게 확인할 수 있습니다.
- 시각적 디버거: 시각적 도구를 사용하면 웹에서의 상호 작용을 디버깅할 수 있으며, Skyvern AI는 작업에 대한 자세한 추론을 제공하여 투명성과 제어를 보장합니다.
기술적 장점
1. 코드 재작성 불필요
코드 자동화와 달리 Skyvern은 웹사이트 구조의 미묘한 변화를 문제없이 처리할 수 있으므로 웹사이트 업데이트 후 기존 자동화 스크립트가 실패하는 문제를 해결합니다.
2. 광범위한 호환성
- 다양한 웹사이트 및 웹 인터페이스 지원
- 각 웹사이트에 대한 특정 스크립트를 작성할 필요가 없습니다.
- 동적 콘텐츠 및 복잡한 상호 작용 처리 가능
3. 오픈 소스 특성
프로젝트는 완전히 오픈 소스이며 코드는 GitHub에 호스팅되어 개발자가 자유롭게 사용, 수정 및 기여할 수 있습니다.
설치 및 배포
Skyvern을 시작하는 것은 간단한 과정이며, GitHub, Docker 및 명령줄 도구를 사용하여 로컬에 설치하는 방법에 대한 포괄적인 지침을 제공합니다. 설치 과정은 일반적으로 다음과 같습니다.
# 프로젝트 복제
git clone https://github.com/Skyvern-AI/skyvern.git
# Docker를 사용하여 배포
docker-compose up -d
# 또는 명령줄 도구를 통해 설치
pip install skyvern
활용 사례
1. 기업 백오피스 자동화
- 데이터 입력 및 양식 작성
- 보고서 생성 및 데이터 추출
- 일괄 작업 및 처리
2. 전자 상거래 및 쇼핑 흐름
예를 들어, 시스템은 장바구니로 이동하여 장바구니 상태를 확인하고 마지막으로 결제 프로세스를 통해 상품을 구매할 수 있습니다.
3. 보험 및 금융 서비스
- 자동 보험 견적 생성
- 양식 처리 및 고객 데이터 관리
- 규정 준수 확인 및 감사
비즈니스 모델
유료 서비스이지만, 이 글을 쓰는 시점에는 계정을 만드는 것이 비교적 쉬우며, 프로젝트는 오픈 소스 버전과 상용 서비스를 모두 제공합니다.
요약
Skyvern은 브라우저 자동화 분야의 중요한 혁신을 나타냅니다. 고급 AI 기술, 오픈 소스 특성 및 엔터프라이즈급 안정성을 결합하여 반복적인 웹 페이지 작업을 자동화해야 하는 기업에 강력하고 유연한 솔루션을 제공합니다. 기존 스크립트 작성의 복잡성과 취약성을 제거함으로써 Skyvern은 브라우저 자동화를 더욱 스마트하고 안정적이며 유지 관리하기 쉽게 만듭니다.