نظرة عامة على المشروع
Firecrawl MCP Server هو تطبيق خادم رسمي لبروتوكول سياق النموذج (Model Context Protocol - MCP) تم تطويره بواسطة فريق Mendable AI، وهو مصمم خصيصًا لتوفير إمكانات قوية لزحف الويب لعملاء نماذج اللغة الكبيرة (LLM). يدمج هذا المشروع قدرات زحف الويب الخاصة بـ Firecrawl بسلاسة في أدوات تطوير الذكاء الاصطناعي الرئيسية مثل Cursor و Claude Desktop، مما يسمح لمساعدي الذكاء الاصطناعي بالحصول على محتوى الويب وتحليله في الوقت الفعلي.
مميزات المشروع:
- 🎯 دعم رسمي: تتم صيانته رسميًا بواسطة فريق Firecrawl.
- 🔌 التوصيل والتشغيل: يتكامل بسهولة مع مختلف عملاء LLM عبر بروتوكول MCP.
- ⚡ أداء عالي: يدعم عرض JavaScript والمعالجة الذكية المجمعة.
- 🛡️ مستوى المؤسسات: آلية إعادة محاولة مدمجة، وتحديد المعدل، ومعالجة الأخطاء.
الميزات والوظائف الأساسية
🕷️ زحف الويب والتقاط البيانات
- زحف صفحة واحدة: الحصول بسرعة على المحتوى الكامل لصفحة ويب محددة.
- عرض JavaScript: معالجة تطبيقات الويب الحديثة التي يتم تحميلها ديناميكيًا.
- الزحف المجمع: معالجة فعالة لعناوين URL متعددة، مع معالجة متوازية مدمجة وتحديد المعدل.
- الزحف العميق: يدعم الزحف المتكرر لهياكل مواقع الويب متعددة المستويات.
- دعم الأجهزة المحمولة: القدرة على محاكاة عرض الأجهزة المحمولة وأجهزة سطح المكتب.
🔍 البحث الذكي والاكتشاف
- البحث في الويب: دمج وظائف محرك البحث، واكتشاف المحتوى ذي الصلة تلقائيًا.
- اكتشاف عنوان URL: التعرف الذكي على الروابط واستخراجها من صفحات الويب.
- تصفية المحتوى: دعم تضمين/استبعاد العلامات، والتحكم الدقيق في محتوى الزحف.
- معالجة الازدواجية: التعرف التلقائي على عناوين URL المتشابهة ومعالجتها.
🧠 استخراج المحتوى المدعوم بالذكاء الاصطناعي
- الاستخراج المنظم: استخدام LLM لاستخراج البيانات المنظمة من صفحات الويب.
- مطالبات مخصصة: دعم قواعد الاستخراج المخصصة وأنماط البيانات.
- بحث متعمق: وظيفة بحث شاملة تجمع بين الزحف والبحث والتحليل بالذكاء الاصطناعي.
- إنشاء llms.txt: إنشاء ملف تفاعل LLM موحد لمواقع الويب.
🔧 الخصائص التقنية
- إعادة المحاولة التلقائية: خوارزمية التراجع الأسي لمعالجة الطلبات الفاشلة.
- تحديد المعدل: قائمة انتظار ذكية وآلية تنظيم.
- مراقبة الرصيد: تتبع استخدام واجهة برمجة التطبيقات والتكاليف في الوقت الفعلي.
- دعم بيئات متعددة: دعم واجهة برمجة تطبيقات سحابية ومثيلات مستضافة ذاتيًا في نفس الوقت.
- دعم SSE: أحداث إرسال الخادم لتنفيذ الاتصال في الوقت الفعلي.
منصات العملاء المدعومة
Cursor IDE
- متطلبات الإصدار: 0.45.6+
- طريقة التكامل: من خلال تكوين خادم MCP.
- الوظيفة: استدعاء وكيل Composer تلقائيًا لوظيفة زحف الويب.
Claude Desktop
- التكامل من خلال ملف التكوين.
- دعم تكوين متغيرات البيئة.
- دعم كامل للوظائف.
VS Code
- الدعم من خلال ملحق MCP.
- إعدادات قابلة للتكوين على مستوى مساحة العمل.
- دعم تكوين التعاون الجماعي.
Windsurf
- دعم MCP أصلي.
- تكوين JSON بسيط.
دوال الأدوات الرئيسية
1. firecrawl_scrape
زحف محتوى صفحة واحدة، يدعم الخيارات المتقدمة:
- تنسيقات إخراج متعددة (Markdown، HTML، بيانات منظمة).
- استخراج المحتوى الرئيسي فقط.
- أوقات انتظار مخصصة وإعدادات المهلة.
- تصفية العلامات ومحاكاة الأجهزة المحمولة.
2. firecrawl_batch_scrape
الزحف المجمع لعناوين URL متعددة:
- المعالجة المتوازية لتحسين الكفاءة.
- حماية مدمجة لتحديد المعدل.
- تطبيق خيارات التكوين الموحدة.
3. firecrawl_search
البحث في الويب واستخراج المحتوى:
- دعم متعدد اللغات والمناطق.
- الاستخراج التلقائي لمحتوى نتائج البحث.
- حدود قابلة للتكوين لعدد النتائج.
4. firecrawl_crawl
الزحف العميق لموقع الويب:
- الزحف المتكرر لطبقات متعددة من الصفحات.
- إزالة الازدواجية الذكية لعناوين URL.
- التحكم في الروابط الخارجية.
5. firecrawl_extract
استخراج البيانات المنظمة المدعوم بالذكاء الاصطناعي:
- مخطط JSON مخصص.
- تحليل ذكي LLM.
- معالجة البيانات المجمعة.
6. firecrawl_deep_research
تحليل بحث شامل:
- تجميع المعلومات من مصادر متعددة.
- قيود الوقت والعمق.
- إنشاء تقارير بحثية بواسطة الذكاء الاصطناعي.
7. firecrawl_generate_llmstxt
إنشاء ملف موحد:
- مواصفات تفاعل LLM لموقع الويب.
- إنشاء وثائق تلقائي.
- دعم الإصدارات الكاملة والمبسطة.
التكوين والنشر
تكوين متغيرات البيئة
# التكوين المطلوب (واجهة برمجة تطبيقات سحابية)
FIRECRAWL_API_KEY=your-api-key
# التكوين الاختياري (الاستضافة الذاتية)
FIRECRAWL_API_URL=https://firecrawl.your-domain.com
# تكوين آلية إعادة المحاولة
FIRECRAWL_RETRY_MAX_ATTEMPTS=3
FIRECRAWL_RETRY_INITIAL_DELAY=1000
FIRECRAWL_RETRY_MAX_DELAY=10000
FIRECRAWL_RETRY_BACKOFF_FACTOR=2
# تكوين مراقبة الرصيد
FIRECRAWL_CREDIT_WARNING_THRESHOLD=1000
FIRECRAWL_CREDIT_CRITICAL_THRESHOLD=100
تشغيل سريع
# التشغيل مباشرة باستخدام npx
env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp
# التثبيت العام
npm install -g firecrawl-mcp
# بدء وضع SSE
env SSE_LOCAL=true FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp
ميزات متقدمة
آلية إعادة المحاولة الذكية
- خوارزمية التراجع الأسي: تعديل تلقائي لفواصل إعادة المحاولة.
- الحد الأقصى لعدد مرات إعادة المحاولة: سياسة معالجة الفشل القابلة للتكوين.
- التعرف الذكي على الأخطاء: التمييز بين الأخطاء المؤقتة والدائمة.
تحسين الأداء
- المعالجة المتوازية: معالجة عناوين URL المتعددة في وقت واحد لتحسين الكفاءة.
- قائمة انتظار ذكية: أولوية الطلبات وموازنة التحميل.
- إدارة الذاكرة: تحسين موارد المهام الكبيرة.
المراقبة والتسجيل
- سجلات تفصيلية: حالة التشغيل ومقاييس الأداء وتتبع الأخطاء.
- مراقبة الرصيد: تتبع الاستخدام في الوقت الفعلي والتحذيرات.
- مراقبة المعدل: تردد استدعاء واجهة برمجة التطبيقات وحالة التقييد.
سيناريوهات التطبيق
البحث عن المحتوى وتحليله
- تحليل المنافسين وأبحاث السوق.
- تجميع الأخبار والمعلومات.
- جمع مواد البحث الأكاديمي.
- تحليل الاتجاهات واستخراج البيانات.
استخراج البيانات وتنظيمها
- الاستخراج المجمع لمعلومات المنتج.
- تنظيم معلومات الاتصال والفهارس.
- مراقبة الأسعار ومقارنتها.
- إنشاء بيانات منظمة.
تحسين مساعد الذكاء الاصطناعي
- القدرة على الاستعلام عن المعلومات في الوقت الفعلي.
- فهم محتوى الويب وتلخيصه.
- تحليل تكامل المعلومات من مصادر متعددة.
- إنشاء تقارير بحثية تلقائية.
التطوير والتكامل
- إضافة مصدر بيانات واجهة برمجة التطبيقات.
- تكامل نظام إدارة المحتوى.
- إعداد بيانات الاختبار الآلي.
- بناء الوثائق وقواعد المعرفة.
المزايا التقنية
الموثوقية
- آلية التسامح مع الأخطاء: معالجة الأخطاء والاستعادة متعددة المستويات.
- ضمان الاستقرار: تم التحقق منه في بيئات الإنتاج واسعة النطاق.
- التوافق: يدعم بيئات النشر والتكوينات المتعددة.
قابلية التوسع
- تصميم معياري: يمكن تكوين مكونات الوظائف واستخدامها بشكل مستقل.
- توافق واجهة برمجة التطبيقات: يدعم الوضع المزدوج السحابي والمستضاف ذاتيًا.
- بنية قائمة على المكونات الإضافية: سهولة التوسيع والتخصيص.
أداء
- تزامن عالي: بنية معالجة غير متزامنة محسنة.
- زمن انتقال منخفض: ذاكرة تخزين مؤقت ذكية وآلية معالجة مسبقة.
- كفاءة الموارد: استخدام محسن للذاكرة وموارد الشبكة.
المجتمع والدعم
مجتمع مفتوح المصدر
- ترخيص MIT: مفتوح المصدر بالكامل، صديق للأعمال.
- صيانة نشطة: تحديثات ودعم مستمر من الفريق الرسمي.
- مساهمات المجتمع: نرحب بالمطورين للمشاركة في التحسين.
الدعم الفني
- وثائق تفصيلية: دليل كامل للتثبيت والاستخدام.
- أمثلة التعليمات البرمجية: حالات استخدام غنية وأفضل الممارسات.
- ملاحظات حول المشكلات: آلية استجابة سريعة لمشكلات GitHub.
ملخص
Firecrawl MCP Server هو حل قوي ومصمم جيدًا لزحف الويب، وهو مصمم خصيصًا لتلبية احتياجات التطوير في عصر الذكاء الاصطناعي. لا يوفر فقط الوظائف الأساسية للزواحف التقليدية، ولكن الأهم من ذلك أنه يحقق تكاملاً سلسًا مع مختلف عملاء LLM من خلال بروتوكول MCP، مما يسمح لمساعدي الذكاء الاصطناعي بالحصول على محتوى الويب وفهمه في الوقت الفعلي.
القيمة الأساسية:
- تقليل الحواجز: يبسط تعقيد الحصول على بيانات الويب في تطبيقات الذكاء الاصطناعي.
- تحسين الكفاءة: معالجة مجمعة ذكية وآلية معالجة الأخطاء.
- ضمان الجودة: تصميم استقرار وموثوقية على مستوى المؤسسات.
- تعزيز الابتكار: يوفر قدرات قوية للحصول على البيانات لتطوير تطبيقات الذكاء الاصطناعي.
سواء كنت مطورًا فرديًا أو فريقًا مؤسسيًا، سواء كان استخراجًا بسيطًا للمحتوى أو بحثًا معقدًا عن البيانات، يمكن لـ Firecrawl MCP Server توفير حلول احترافية وفعالة وموثوقة، وهو مكون أساسي لا غنى عنه في سلسلة أدوات تطوير تطبيقات الذكاء الاصطناعي الحديثة.