أداة ترجمة الفيديو والدبلجة والتعريب بمستوى Netflix، لتحقيق تقسيم وترجمة ومحاذاة ودبلجة الترجمة تلقائيًا بنقرة واحدة.

VideoLingo - أداة ترجمة ودبلجة فيديو بتقنية الذكاء الاصطناعي على مستوى Netflix

🌟 نظرة عامة على المشروع

VideoLingo هي أداة شاملة تجمع بين ترجمة الفيديو وتوطينه ودبلجته، تهدف إلى إنتاج ترجمات بجودة مستوى Netflix. يزيل هذا المشروع الترجمة الآلية الفجة ومشكلة الترجمة متعددة الأسطر، مع إضافة دبلجة عالية الجودة، مما يسمح بمشاركة المعرفة العالمية عبر الحواجز اللغوية.

🎯 الميزات الأساسية

الوظائف الرئيسية

• 🎥 تنزيل فيديوهات YouTube: يتم باستخدام yt-dlp
• 🎙️ التعرف على الكلام بدقة عالية: باستخدام WhisperX للتعرف على مستوى الكلمات وترجمة منخفضة الهلوسة
• 📝 تقسيم الترجمة الذكي: بناءً على تقنيات معالجة اللغة الطبيعية والذكاء الاصطناعي
• 📚 إدارة المصطلحات: مصطلحات مخصصة + مصطلحات تم إنشاؤها بواسطة الذكاء الاصطناعي، لضمان اتساق الترجمة
• 🔄 عملية ترجمة ثلاثية الخطوات: معالجة بجودة سينمائية: ترجمة - تفكير - تكييف
• ✅ ترجمة بمعايير Netflix: إنشاء ترجمة من سطر واحد فقط، تتوافق مع معايير Netflix
• 🗣️ دبلجة متعددة المحركات: تدعم محركات دبلجة متعددة مثل GPT-SoVITS و Azure و OpenAI
• 🚀 تشغيل بنقرة واحدة: يتم باستخدام Streamlit لتشغيل ومعالجة بنقرة واحدة
• 🌍 واجهة متعددة اللغات: واجهة مستخدم Streamlit تدعم لغات متعددة
• 📝 سجل تفصيلي: نظام سجل تفصيلي يدعم استعادة التقدم

الاختلافات عن المشاريع المماثلة

• إنشاء ترجمة من سطر واحد فقط: يتوافق مع المعايير المهنية
• جودة ترجمة فائقة: عملية ترجمة متعددة الخطوات تضمن الجودة
• تجربة دبلجة سلسة: مجموعة متنوعة من محركات TTS للاختيار من بينها

🌍 اللغات المدعومة

دعم لغات الإدخال

• 🇺🇸 الإنجليزية 🤩
• 🇷🇺 الروسية 😊
• 🇫🇷 الفرنسية 🤩
• 🇩🇪 الألمانية 🤩
• 🇮🇹 الإيطالية 🤩
• 🇪🇸 الإسبانية 🤩
• 🇯🇵 اليابانية 😐
• 🇨🇳 الصينية* 😊

*تستخدم اللغة الصينية نموذج Whisper محسنًا للعلامات الترقيمية بشكل منفصل

تدعم الترجمة جميع اللغات، وتعتمد لغات الدبلجة على طريقة TTS المختارة.

🔧 متطلبات التثبيت

متطلبات النظام

• Python 3.10
• FFmpeg
• دعم CUDA (لمستخدمي Windows NVIDIA GPU)

خطوات التثبيت المسبق لمستخدمي Windows NVIDIA GPU

1. تثبيت CUDA Toolkit 12.6
2. تثبيت CUDNN 9.3.0
3. إضافة C:\Program Files\NVIDIA\CUDNN\v9.3\bin\12.6 إلى مسار النظام (PATH)
4. إعادة تشغيل الكمبيوتر

تثبيت FFmpeg

• Windows: choco install ffmpeg (عبر Chocolatey)
• macOS: brew install ffmpeg (عبر Homebrew)
• Linux: sudo apt install ffmpeg (Debian/Ubuntu)

📥 خطوات التثبيت

1. استنساخ المستودع

git clone https://github.com/Huanshere/VideoLingo.git
cd VideoLingo

2. تثبيت التبعيات (يتطلب python=3.10)

conda create -n videolingo python=3.10.0 -y
conda activate videolingo
python install.py

3. تشغيل التطبيق

streamlit run st.py

تثبيت Docker (اختياري)

docker build -t videolingo .
docker run -d -p 8501:8501 --gpus all videolingo

يتطلب CUDA 12.4 وإصدار برنامج تشغيل NVIDIA > 550

🔌 دعم API

يدعم VideoLingo تنسيق API المشابه لـ OpenAI وواجهات TTS متنوعة:

دعم LLM

• claude-3-5-sonnet
• gpt-4.1
• deepseek-v3
• gemini-2.0-flash
• ... (مرتبة حسب الأداء، استخدم gemini-2.5-flash بحذر)

خيارات WhisperX

• تشغيل WhisperX محليًا (large-v3)
• استخدام 302.ai API

محركات TTS

• azure-tts
• openai-tts
• siliconflow-fishtts
• fish-tts
• GPT-SoVITS
• edge-tts
• *custom-tts (يمكن تعديل TTS المخصص في custom_tts.py)

خيارات مريحة

• استخدم 302.ai مفتاح API واحد للوصول إلى جميع الخدمات (LLM، WhisperX، TTS)
• تشغيل Olama و Edge-TTS محليًا مجاني تمامًا، ولا يتطلب API

⚠️ القيود المعروفة

1. تأثير جودة الصوت: قد يتأثر أداء النسخ في WhisperX بضوضاء الخلفية في الفيديو، بالنسبة لمقاطع الفيديو ذات الموسيقى الخلفية العالية، يرجى تمكين وظيفة تحسين فصل الصوت البشري.

2. معالجة الأحرف الرقمية: قد يتم اقتطاع الترجمة التي تنتهي بأرقام أو أحرف خاصة مبكرًا، لأن wav2vac لا يمكنه تعيين الأحرف الرقمية (مثل "1") إلى شكلها المنطوق (مثل "واحد").

3. توافق النموذج: قد يؤدي استخدام نموذج أضعف إلى حدوث أخطاء أثناء المعالجة بسبب متطلبات تنسيق JSON الصارمة.

4. كمال الدبلجة: نظرًا للاختلافات في سرعة الكلام والنبرة بين اللغات، وتأثير خطوات الترجمة، قد لا تكون وظيفة الدبلجة مثالية بنسبة 100٪.

5. التعرف على اللغات المتعددة: سيحتفظ التعرف على ترجمة الفيديو متعدد اللغات باللغة الرئيسية فقط.

6. دبلجة متعددة الشخصيات: لا يمكن دبلجة شخصيات متعددة بشكل منفصل حاليًا، لأن قدرة WhisperX على تمييز المتحدثين ليست موثوقة بدرجة كافية.