QwenLM/Qwen3-CoderView GitHub Homepage for Latest Official Releases

알리바바에서 출시한 최첨단 오픈 소스 AI 프로그래밍 모델로, 지능형 에이전트 프로그래밍 작업을 위해 설계되었습니다.

PythonQwen3-CoderQwenLM 10.4k Last Updated: July 30, 2025

Qwen3-Coder 프로젝트 상세 소개

프로젝트 개요

Qwen3-Coder는 알리바바 Qwen 팀이 개발한 최첨단 오픈소스 AI 프로그래밍 대규모 모델로, 지능형 에이전트 프로그래밍 작업을 위해 특별히 설계되었습니다. 이 모델은 MoE(혼합 전문가) 아키텍처를 채택했으며, 총 4,800억 개의 파라미터를 보유하고 있으며, 이 중 350억 개의 파라미터가 각 추론 시 활성화됩니다.

핵심 기능

🚀 탁월한 성능

  • 오픈소스 모델 중 지능형 에이전트 프로그래밍, 지능형 에이전트 브라우저 사용 및 지능형 에이전트 도구 사용 분야에서 최신 성능 기록을 세웠으며, Claude Sonnet-4와 견줄 만합니다.
  • SWE-Bench와 같은 실제 소프트웨어 엔지니어링 작업 벤치마크에서 DeepSeek 및 Moonshot AI의 K2 모델과 같은 국내 경쟁사를 능가했습니다.

📚 긴 컨텍스트 처리 능력

  • 256K 토큰의 컨텍스트 길이를 기본적으로 지원하며, 외삽법을 통해 100만 토큰까지 확장 가능합니다.
  • 코드베이스 규모의 이해를 위해 최적화되어 단일 세션에서 방대한 코드베이스를 처리할 수 있습니다.

🛠 지능형 에이전트 프로그래밍

  • Qwen Code, CLINE과 같은 대부분의 플랫폼을 지원하며, 특별히 설계된 함수 호출 형식을 제공합니다.
  • 개발자는 사용자 정의 도구를 정의하여 Qwen3-Coder가 대화 또는 코드 생성 작업에서 이러한 도구를 동적으로 호출할 수 있도록 할 수 있습니다.

🌍 광범위한 언어 지원

  • ABAP부터 Zig까지 다양한 주류 및 비주류 프로그래밍 언어를 포함하여 358가지 프로그래밍 언어를 지원합니다.
  • 기본 모델의 수학 및 일반 능력에서의 강점을 유지합니다.

기술 아키텍처

모델 아키텍처

  • 아키텍처 유형: MoE(혼합 전문가) 모델
  • 총 파라미터: 4,800억 개 파라미터
  • 활성화 파라미터: 각 쿼리 시 350억 개 파라미터 활성화
  • 전문가 구성: 160개 전문가 중 8개 활성화

훈련 데이터

  • 훈련 데이터 규모는 7.5조 토큰에 달하며, 이 중 70%가 코드 데이터입니다.
  • Qwen2.5-Coder를 활용하여 노이즈 데이터를 정리하고 재작성하여 전체 데이터 품질을 크게 향상시켰습니다.

강화 학습 최적화

  • 더 광범위한 실제 프로그래밍 작업을 포괄하는 코드 강화 학습 훈련을 채택했습니다.
  • 다단계 상호작용을 통해 도구를 사용하여 실제 작업을 해결하도록 모델을 장려하는 장기 강화 학습(Agent RL)을 도입했습니다.

사용 방법

기본 대화 예시

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-Coder-480B-A35B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "write a quick sort algorithm."
messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=65536
)

generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

코드 채우기(Fill-in-the-Middle)

input_text = """<|fim_prefix|>def quicksort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[len(arr) // 2]
    <|fim_suffix|>
    middle = [x for x in arr if x == pivot]
    right = [x for x in arr if x > pivot]
    return quicksort(left) + middle + quicksort(right)<|fim_middle|>"""

messages = [
    {"role": "system", "content": "You are a code completion assistant."},
    {"role": "user", "content": input_text}
]

# 코드 채우기 작업 처리
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

부속 도구

Qwen Code CLI 도구

알리바바는 또한 Qwen Code를 오픈소스화했습니다. 이는 개발자가 자연어를 사용하여 엔지니어링 작업을 AI에 위임할 수 있도록 하는 강력한 CLI(명령줄 인터페이스) 도구입니다.

주요 기능:

  • 코드 이해 및 편집: 기존 컨텍스트 창 제한을 초과하는 대규모 코드베이스를 쿼리하고 편집합니다.
  • 워크플로우 자동화: 풀 리퀘스트 처리 및 복잡한 리베이스 작업과 같은 운영 작업을 자동화합니다.
  • 향상된 파서: Qwen-Coder 모델에 특별히 최적화된 파서입니다.

설치 및 구성

Node.js 20 이상 버전이 설치되어 있는지 확인한 다음 Qwen API 키를 설정합니다.

# 프로젝트 루트 디렉토리에 .env 파일 생성
echo "QWEN_API_KEY=your_api_key_here" > .env

성능 벤치마크

오픈소스 모델에서의 성능

  • SWE-Bench 벤치마크에서 뛰어난 성능을 보여 Moonshot AI 및 DeepSeek의 경쟁 모델을 능가했습니다.
  • 지능형 에이전트 프로그래밍, 지능형 에이전트 브라우저 사용 및 지능형 에이전트 도구 사용 분야에서 오픈소스 모델의 새로운 기록을 세웠습니다.

상용 모델과의 비교

  • Anthropic의 Claude Sonnet-4 및 OpenAI의 GPT-4.1과 비교하여 일부 영역에서 동등하거나 약간의 차이를 보였습니다.
  • 특정 영역에서 Anthropic의 Claude 및 OpenAI의 GPT-4를 포함한 선도적인 미국 모델과 동등한 성능을 보였습니다.

접근 방법

모델 획득

API 접근

  • 알리바바 클라우드 모델 스튜디오를 통해 Qwen3-Coder의 API에 직접 접근할 수 있습니다.
  • Qwen3-Coder API는 알리바바 클라우드의 Bailian 플랫폼에 출시되었습니다.

기업 적용 시나리오

기업에게 Qwen3-Coder는 폐쇄형 독점 모델에 대한 개방적이고 고성능의 대안을 제공합니다. 코드 실행 및 긴 컨텍스트 추론에서의 뛰어난 성능 덕분에 특히 다음과 같은 경우에 적합합니다.

  • 코드베이스 수준 이해: 대규모 코드베이스, 기술 문서 또는 아키텍처 패턴을 이해해야 하는 AI 시스템에 적합합니다.
  • 지능형 에이전트 개발: 프로그래밍 문제를 자율적으로 처리할 수 있는 AI 에이전트 구축을 지원합니다.
  • 대규모 소프트웨어 개발: 복잡한 다단계 프로그래밍 워크플로우를 처리합니다.

기술 문서

자세한 성능 소개 및 기술 문서는 다음 위치에서 찾을 수 있습니다.

Qwen3-Coder는 오픈소스 AI 프로그래밍 모델의 최신 돌파구를 대표하며, 개발자와 기업에 강력한 지능형 프로그래밍 도구를 제공하여 AI 지원 소프트웨어 개발의 최전선을 추진합니다.

Star History Chart