AI Sheets - 노코드 AI 데이터 처리 도구

프로젝트 개요

AI Sheets는 Hugging Face에서 오픈 소스로 공개한 노코드 도구로, AI 모델을 사용하여 데이터셋을 구축하고, 보강하며, 변환하는 데 특화되어 있습니다. 이 도구는 로컬에 배포하거나 Hugging Face Hub에서 실행할 수 있으며, Hugging Face Hub의 수천 가지 오픈 소스 모델에 접근할 수 있도록 지원합니다.

프로젝트 주소: https://github.com/huggingface/aisheets 온라인 체험: https://huggingface.co/spaces/aisheets/sheets

주요 기능

1. 사용자 친화적인 인터페이스

• 스프레드시트와 유사하여 배우기 쉬운 사용자 인터페이스
• 작은 데이터셋으로 빠르게 실험하고, 대규모 데이터 생성 파이프라인을 실행할 수 있도록 지원
• 프롬프트 작성을 통해 새 열을 생성하고, 무한히 반복 및 셀 편집 가능

2. 강력한 AI 통합

• Hugging Face Hub의 수천 가지 오픈 소스 모델 사용 지원
• Inference Providers API 또는 로컬 모델을 통한 추론 지원
• OpenAI의 gpt-oss 모델 지원
• 사용자 정의 LLM 엔드포인트 지원 (OpenAI API 사양 준수 필요)

3. 다양한 데이터 작업

• 모델 비교 테스트: 동일한 데이터에서 여러 모델의 성능 테스트
• 프롬프트 최적화: 특정 데이터 및 모델에 대한 프롬프트 개선
• 데이터 변환: 데이터셋 열 정리 및 변환
• 데이터 분류: 콘텐츠 자동 분류
• 데이터 분석: 텍스트에서 핵심 정보 추출
• 데이터 보강: 누락된 정보 보충 (예: 주소의 우편번호)
• 합성 데이터 생성: 현실적이지만 가상의 데이터셋 생성

기술 아키텍처

프런트엔드 기술 스택

• 프레임워크: Qwik + QwikCity
• 빌드 도구: Vite
• 패키지 관리: pnpm

디렉토리 구조

├── public/              # 정적 자원
└── src/
    ├── components/      # 무상태 컴포넌트
    ├── features/        # 비즈니스 로직 컴포넌트
    └── routes/          # 라우팅 파일

백엔드 서비스

• 서버: Express.js
• 인증: Hugging Face OAuth
• API: OpenAI API 사양 호환

설치 및 배포

Docker 배포 (권장)

# Hugging Face 토큰 가져오기
export HF_TOKEN=your_token_here

# Docker 컨테이너 실행
docker run -p 3000:3000 \
  -e HF_TOKEN=HF_TOKEN \
  AI Sheets/sheets

# http://localhost:3000 접속

로컬 개발

# pnpm 설치
# 프로젝트 클론
git clone https://github.com/huggingface/aisheets.git
cd aisheets

# 환경 변수 설정
export HF_TOKEN=your_token_here

# 의존성 설치
pnpm install

# 개발 서버 시작
pnpm dev

# http://localhost:5173 접속

프로덕션 빌드

# 프로덕션 버전 빌드
pnpm build

# 프로덕션 서버 시작
export HF_TOKEN=your_token_here
pnpm serve

환경 변수 설정

핵심 설정

• HF_TOKEN: Hugging Face 인증 토큰
• OAUTH_CLIENT_ID: Hugging Face OAuth 클라이언트 ID
• OAUTH_SCOPES: OAuth 인증 범위 (기본값: openid profile inference-api manage-repos)

모델 설정

• DEFAULT_MODEL: 기본 텍스트 생성 모델 (기본값: meta-llama/Llama-3.3-70B-Instruct)
• DEFAULT_MODEL_PROVIDER: 기본 모델 제공자 (기본값: nebius)
• MODEL_ENDPOINT_URL: 사용자 정의 추론 엔드포인트 URL
• MODEL_ENDPOINT_NAME: 사용자 정의 엔드포인트에 해당하는 모델 이름

시스템 설정

• DATA_DIR: 데이터 저장 디렉토리 (기본값: ./data)
• NUM_CONCURRENT_REQUESTS: 동시 요청 수 (기본값: 5, 최대: 10)
• SERPER_API_KEY: Serper 웹 검색 API 키
• TELEMETRY_ENABLED: 원격 측정 기능 활성화/비활성화 (기본값: 1)

사용 방법

1. 데이터 가져오기 방법

새 데이터셋 생성

• 적용 대상: 도구에 익숙한 사용자, 브레인스토밍, 빠른 실험
• 원하는 데이터셋을 설명하면 AI가 구조와 내용을 자동으로 생성
• 예시: "전 세계 도시, 소속 국가 및 각 도시의 지브리 스타일 랜드마크 이미지 포함"

기존 데이터셋 가져오기 (권장)

• 지원 형식: XLS, TSV, CSV, Parquet
• 최대 1000행, 열 수 제한 없음
• 대부분의 실제 데이터 처리 시나리오에 적용 가능

2. 데이터 처리 작업

AI 열 추가

"+" 버튼을 클릭하여 새 열을 추가할 수 있으며, 다음을 선택할 수 있습니다:

• 특정 정보 추출
• 긴 텍스트 요약
• 콘텐츠 번역
• 사용자 정의 프롬프트: {{column}}에 대해 특정 작업 수행

최적화 및 확장

• 셀 추가: 아래로 드래그하여 자동 생성
• 수동 편집: 셀 내용을 직접 편집하여 예시 제공
• 피드백 메커니즘: 좋아요를 사용하여 좋은 출력 표시
• 설정 조정: 프롬프트 수정, 모델 또는 제공자 전환

3. 내보내기 및 확장

• Hugging Face Hub로 내보내기
• 재사용 가능한 구성 파일 생성
• HF Jobs를 통한 배치 데이터 생성 지원

Ollama 통합

# Ollama 서버 시작
export OLLAMA_NOHISTORY=1
ollama serve
ollama run llama3

# 환경 변수 설정
export MODEL_ENDPOINT_URL=http://localhost:11434
export MODEL_ENDPOINT_NAME=llama3

# AI Sheets 시작
pnpm serve

사용 시나리오 예시

모델 비교 테스트

• 질문이 포함된 데이터셋 가져오기
• 다른 모델에 대해 다른 열 생성
• LLM을 평가자로 사용하여 모델 품질 비교

데이터셋 분류

• Hub의 기존 데이터셋 가져오기
• 분류 열을 추가하여 콘텐츠 분류
• 초기 분류 결과 수동 검증 및 편집

이미지 생성 비교

• 객체 이름과 설명이 포함된 데이터셋 생성
• 다른 이미지 생성 모델 사용
• 다른 스타일과 프롬프트의 효과 비교

프로젝트 장점

1. 노코드 작업: 프로그래밍 지식 없이 복잡한 데이터 처리 가능
2. 오픈 소스 무료: 완전 오픈 소스, 로컬 배포 지원
3. 풍부한 모델: Hugging Face 생태계 연동
4. 친숙한 인터페이스: Excel과 유사한 익숙한 조작 경험
5. 유연한 확장: 사용자 정의 모델 및 API 엔드포인트 지원
6. 실시간 피드백: 편집 및 좋아요를 통해 AI 출력 개선
7. 배치 처리: 대규모 데이터 생성 파이프라인 지원

커뮤니티 및 지원

• GitHub 저장소: https://github.com/huggingface/aisheets
• 온라인 커뮤니티: https://huggingface.co/spaces/aisheets/sheets/discussions
• 문제 피드백: GitHub Issues를 통해 제출
• 기술 문서: 자세한 환경 설정 및 API 통합 가이드

AI Sheets는 데이터 과학자, 연구원 및 개발자에게 강력하고 사용하기 쉬운 도구를 제공하여 AI 데이터 처리를 간단하고 효율적으로 만듭니다. 모델 테스트, 데이터 정리 또는 합성 데이터 생성 등 모든 작업을 직관적인 인터페이스를 통해 빠르게 완료할 수 있습니다.