وصف تفصيلي لمشروع خدمات LlamaCloud

نظرة عامة على المشروع

LlamaCloud Services هو حزمة تطوير برامج (SDK) بلغة بايثون، تم تطويرها بواسطة فريق LlamaIndex، للتفاعل مع خدمات LlamaCloud السحابية. يوفر هذا المشروع مجموعة كاملة من أدوات وكلاء المعرفة وإدارة البيانات، المصممة خصيصًا لسيناريوهات تطبيقات نماذج اللغة الكبيرة (LLM)، بما في ذلك الوظائف الأساسية مثل تحليل المستندات الذكي، واستخراج البيانات المهيكلة، وإدارة الفهارس السحابية.

مكونات الخدمة الأساسية

🔍 LlamaParse - محلل المستندات الأصلي المدعوم بالذكاء الاصطناعي

LlamaParse هو أول محلل مستندات أصلي مدعوم بالذكاء الاصطناعي التوليدي (GenAI) في العالم، تم بناؤه خصيصًا لحالات استخدام نماذج اللغة الكبيرة (LLM)، ويتميز بما يلي:

تنسيقات مدعومة:

• يدعم أكثر من 130 تنسيق ملف (PDF، DOCX، PPTX، XLSX، ODT، ODS، HTML، EPUB، الصور، EML، إلخ)
• مُحسّن خصيصًا لتحليل الجداول والرسوم البيانية في مستندات PDF المعقدة
• يدعم التحليل متعدد الوسائط، باستخدام نماذج اللغة الكبيرة (LLM) ونماذج الرؤية الكبيرة (LVM) لمعالجة المستندات المعقدة

أوضاع التحليل:

• فعال من حيث التكلفة (Cost Effective): يحسن السرعة والتكلفة، ومناسب للمستندات ذات الهيكل البسيط والغنية بالنصوص.
• وكيل (Agentic): الخيار الافتراضي، ومناسب للمستندات التي تحتوي على صور ورسوم بيانية.
• وكيل بلس (Agentic Plus): أعلى دقة، ومناسب للتخطيطات المعقدة والجداول والهياكل المرئية.
• موجّه نحو حالة الاستخدام (Use-case Oriented): خيارات تحليل مخصصة لأنواع مستندات محددة (الفواتير، النماذج، السير الذاتية التقنية، الأوراق العلمية).

الميزات التقنية:

• إخراج Markdown يحافظ على الهيكل الدلالي للمستند.
• استخراج متقدم للجداول والرسوم البيانية والتخطيطات.
• وظيفة المراجع المرئية، مع إمكانية التتبع إلى الموقع الأصلي في المستند.
• تحليل يراعي التخطيط، يقسم الصفحات إلى كتل مرئية.

📊 LlamaExtract - مستخرج البيانات الذكي

LlamaExtract هو مستخرج بيانات ذكي مُعد مسبقًا، يمكنه تحويل البيانات إلى تمثيل JSON مهيكل.

الوظائف الأساسية:

• استخراج البيانات المهيكلة بناءً على مخطط يحدده المستخدم.
• يدعم سير عمل استخراج البيانات القائم على الوكلاء.
• يمكنه التعامل مع سيناريوهات مثل فحص السير الذاتية واستخراج بيانات النماذج.
• التحقق التلقائي من البيانات وتنظيفها.

سيناريوهات الاستخدام:

• معالجة السير الذاتية وطلبات التوظيف.
• استخراج البيانات من المستندات المالية.
• هيكلة بيانات النماذج والاستبيانات.
• استخراج المعلومات من العقود والمستندات القانونية.

🗂️ LlamaCloud Index - خدمة الفهرسة السحابية

LlamaCloud Index هو خط أنابيب آلي بالكامل وقابل للتخصيص بدرجة عالية لاستيعاب المستندات، ويوفر في الوقت نفسه وظائف الاسترجاع.

الميزات:

• استيعاب المستندات وفهرستها تلقائيًا.
• يدعم تكامل مصادر بيانات متعددة.
• يوفر خدمة واجهة برمجة تطبيقات (API) للاسترجاع.
• حل تخزين سحابي قابل للتوسع.

📋 LlamaReport - منشئ التقارير الذكي

LlamaReport هو منشئ تقارير ذكي مُعد مسبقًا، يمكنه بناء تقارير من مصادر بيانات متعددة (حاليًا في مرحلة تجريبية/دعوة).

التثبيت والاستخدام

التثبيت الأساسي

pip install llama-cloud-services

الاستخدام الأساسي

from llama_cloud_services import (
    LlamaParse,
    LlamaExtract,
    LlamaCloudIndex,
    LlamaReport
)

# تحليل المستندات
parser = LlamaParse(api_key="YOUR_API_KEY")
result = parser.parse("./document.pdf")

# استخراج البيانات
extract = LlamaExtract(api_key="YOUR_API_KEY")
agent = extract.create_agent(name="data-extraction", data_schema=your_schema)

# الفهرسة السحابية
index = LlamaCloudIndex(
    "my_index", 
    project_name="default", 
    api_key="YOUR_API_KEY"
)

# إنشاء التقارير
report = LlamaReport(api_key="YOUR_API_KEY")

أدوات سطر الأوامر

# بعد الحصول على مفتاح API، قم بتعيين متغير البيئة
export LLAMA_CLOUD_API_KEY='llx-...'

# تحليل المستند إلى نص
llama-parse my_file.pdf --result-type text --output-file output.txt

# تحليل المستند إلى Markdown
llama-parse my_file.pdf --result-type markdown --output-file output.md

# إخراج JSON الأصلي
llama-parse my_file.pdf --output-raw-json --output-file output.json

التكامل والتوافق

تكامل LlamaIndex

from llama_cloud_services import LlamaParse
from llama_index.core import SimpleDirectoryReader

parser = LlamaParse(api_key="YOUR_API_KEY")

# التكامل مباشرة في SimpleDirectoryReader
reader = SimpleDirectoryReader(
    input_files=["./document.pdf"],
    file_extractor={".pdf": parser}
)
documents = reader.load_data()

دعم متعدد اللغات والمناطق

# دعم منطقة الاتحاد الأوروبي
from llama_cloud_services import LlamaParse, EU_BASE_URL

parser = LlamaParse(
    api_key="YOUR_API_KEY", 
    base_url=EU_BASE_URL,
    language="en"  # يدعم لغات متعددة
)

الميزات التقنية

🚀 تحسين الأداء

• معالجة متوازية متعددة العمليات.
• دعم التحليل غير المتزامن.
• القدرة على معالجة الملفات دفعة واحدة.
• آلية التخزين المؤقت الذكية.

🔧 قابلية عالية للتخصيص

• تكوين مرن لمعلمات التحليل.
• تعريف مخطط بيانات مخصص.
• خيارات متعددة لتنسيقات الإخراج.
• مستويات جودة قابلة للتكوين.

🛡️ ميزات على مستوى المؤسسات

• حماية خصوصية البيانات.
• خدمات سحابية عالية التوفر.
• قيود واجهة برمجة التطبيقات (API) وإدارة الحصص.
• إحصائيات استخدام مفصلة.

نموذج التسعير

تسعير LlamaParse

• الخطة المجانية: ما يصل إلى 1000 صفحة يوميًا.
• الخطة المدفوعة: 7000 صفحة مجانية أسبوعيًا + 0.003 دولار للصفحة الإضافية.
• خطة المؤسسات: تدعم الكميات الكبيرة والنشر المحلي.

قيود الاستخدام

• يدعم الملف الواحد بحد أقصى حوالي 3000 صفحة.
• يعتمد الحد الأقصى لحجم الملف المدعوم على التنسيق.
• قيود على معدل استدعاء واجهة برمجة التطبيقات (API).

سيناريوهات التطبيق

📚 المعالجة الذكية للمستندات

• تحليل الأوراق الأكاديمية واستخراج المعرفة.
• المعالجة المهيكلة للمستندات التقنية.
• استخراج المعلومات من العقود القانونية.
• تحليل البيانات من التقارير المالية.

🏢 إدارة بيانات المؤسسات

• بناء قاعدة معرفية للمستندات الداخلية.
• استخراج بيانات ملفات العملاء.
• أتمتة العمليات التجارية.
• معالجة مستندات الامتثال.

🔬 البحث والتطوير

• استخراج البيانات من الأدبيات العلمية.
• تحليل مستندات براءات الاختراع.
• معالجة التقارير الفنية.
• بناء وتنظيف مجموعات البيانات.

التطوير والنشر

إعداد بيئة التطوير

1. سجل حساب LlamaCloud: https://cloud.llamaindex.ai/
2. احصل على مفتاح API.
3. قم بتثبيت حزمة تطوير برامج بايثون (Python SDK).
4. قم بتكوين متغيرات البيئة.

نشر بيئة الإنتاج

• يدعم استدعاءات واجهة برمجة التطبيقات (API) السحابية.
• يمكن دمجه في خطوط أنابيب البيانات الحالية.
• يدعم سير عمل المعالجة الدفعية.
• يوفر وظائف المراقبة والتسجيل.

دعم بروتوكول سياق النموذج (MCP)

توفر خدمات LlamaCloud أيضًا دعم خادم MCP، والذي يمكن دمجه مع العملاء الذين يدعمون MCP (مثل Claude Desktop):

# مثال على تكامل خادم MCP
from llamacloud_mcp import LlamaCloudMCPServer

server = LlamaCloudMCPServer(
    api_key="YOUR_API_KEY",
    indexes=["your_index_name"],
    agents=["your_agent_name"]
)

المجتمع والدعم

• الوثائق الرسمية: https://docs.cloud.llamaindex.ai/
• مستودع GitHub: https://github.com/run-llama/llama_cloud_services
• دعم المجتمع: منتدى مجتمع LlamaIndex
• دعم المؤسسات: احصل على دعم على مستوى المؤسسات عبر طرق الاتصال الرسمية.

التطورات المستقبلية

تواصل خدمات LlamaCloud التحسين في المجالات التالية:

• دعم المزيد من تنسيقات الملفات.
• قدرات محسنة لتحليل الرسوم البيانية والجداول.
• دعم أفضل للغات متعددة.
• وظائف وكلاء الذكاء الاصطناعي المتقدمة.
• المزيد من الميزات على مستوى المؤسسات.

يمثل هذا المشروع أحدث التقنيات في مجال معالجة المستندات وإدارة المعرفة، ويوفر بنية تحتية قوية للبيانات لدعم بناء تطبيقات نماذج اللغة الكبيرة (LLM) عالية الجودة.