RAGxplorer - أداة مفتوحة المصدر لتصور RAG 🔮

نظرة عامة على المشروع

RAGxplorer هي أداة مفتوحة المصدر مصممة خصيصًا لتصور أنظمة التوليد المعزز بالاسترجاع (RAG). تم تطوير هذا المشروع بواسطة غابرييل تشوا (Gabriel Chua)، ويهدف إلى مساعدة المطورين والباحثين على فهم أفضل وتصحيح أخطاء عمليات استرجاع المستندات ومطابقة التشابه الدلالي في تطبيقات RAG.

الميزات الرئيسية

1. معالجة وتحميل المستندات

• دعم مستندات PDF: يمكن تحميل ملفات PDF مباشرة للمعالجة.
• تقسيم المستندات إلى كتل: تقسيم المستندات تلقائيًا إلى كتل نصية مناسبة للتحويل إلى متجهات.
• دعم صيغ مستندات متعددة: دعم موسع لمختلف صيغ المستندات.

2. تصور تضمين المتجهات

• تصور مساحة التضمين: تصور تمثيل كتل المستندات في مساحة المتجهات.
• استكشاف التشابه الدلالي: عرض بصري للعلاقات الدلالية بين كتل المستندات.
• دعم نماذج تضمين متعددة: دعم نماذج التضمين المدربة مسبقًا المختلفة.

3. تصور الاستعلامات

• تصور مطابقة الاستعلام: عرض عملية مطابقة الاستعلام مع كتل المستندات.
• عرض نقاط التشابه: عرض بصري لدرجات الصلة لنتائج الاسترجاع.
• استعلام تفاعلي: دعم الاستعلام في الوقت الفعلي وتصور النتائج.

الميزات التقنية

حزمة التقنيات الأساسية

• Python: لغة التطوير الرئيسية.
• Streamlit: إطار عمل واجهة الويب.
• تضمين المتجهات: يدعم نماذج تضمين متعددة.
• مكتبات التصور: تستخدم لتصور البيانات والتفاعل.

نماذج التضمين المدعومة

• thenlper/gte-large: النموذج الموصى به افتراضيًا.
• نماذج Hugging Face الأخرى: تدعم نماذج التضمين المخصصة.

التثبيت والاستخدام

طريقة التثبيت

pip install ragxplorer

مثال الاستخدام الأساسي

from ragxplorer import RAGxplorer

# تهيئة العميل
client = RAGxplorer(embedding_model="thenlper/gte-large")

# تحميل مستند PDF
client.load_pdf("presentation.pdf", verbose=True)

# تصور نتائج الاستعلام
client.visualize_query("What are the top revenue drivers for Microsoft?")

البدء السريع

يوفر المشروع برنامجًا تعليميًا كاملاً في Jupyter notebook:

• برنامج GitHub التعليمي
• إصدار Google Colab

العرض التوضيحي عبر الإنترنت

• تطبيق Streamlit التجريبي
• مستودع المشروع التجريبي

سيناريوهات التطبيق

1. تصحيح أخطاء نظام RAG

• تقييم جودة الاسترجاع: تقييم دقة وصلة استرجاع المستندات.
• ضبط المعلمات: ضبط معلمات نظام RAG من خلال النتائج المرئية.
• تحليل الأداء: تحليل أداء النظام تحت تكوينات مختلفة.

2. التعليم والبحث

• تعليم مفاهيم RAG: مساعدة المتعلمين على فهم مبدأ عمل RAG.
• البحث الأكاديمي: توفير أداة تصور للبحوث المتعلقة بـ RAG.
• تطوير النماذج الأولية: التحقق السريع من تصميم نظام RAG.

3. تطبيقات الشركات

• تحسين البحث عن المستندات: تحسين أنظمة البحث عن المستندات الداخلية للشركات.
• إدارة المعرفة: تصور الهيكل التنظيمي لقاعدة المعرفة للشركة.
• خدمة العملاء: تحسين أنظمة خدمة العملاء القائمة على RAG.

مزايا المشروع

1. مفتوح المصدر والمجتمع

• ترخيص MIT: مفتوح المصدر بالكامل، يمكن استخدامه وتعديله بحرية.
• دعم المجتمع: مجتمع مطورين نشط ومساهمين.
• تحديثات مستمرة: تحديثات منتظمة وتحسينات للميزات.

2. سهولة الاستخدام

• واجهة برمجة تطبيقات بسيطة: تصميم بديهي لواجهة برمجة تطبيقات Python.
• واجهة ويب: واجهة سهلة الاستخدام تعتمد على Streamlit.
• وثائق مفصلة: برامج تعليمية وأمثلة كاملة للاستخدام.

3. قابلية التوسع

• تصميم معياري: سهل التوسع والتخصيص.
• دعم نماذج متعددة: يدعم نماذج التضمين المختلفة.
• آلية المكونات الإضافية: يمكن دمج أدوات ومكتبات أخرى.

البنية التقنية

المكونات الأساسية

1. معالج المستندات: مسؤول عن تحميل المستندات والمعالجة المسبقة.
2. محرك التحويل إلى متجهات: يعالج تحويل النص إلى متجهات وتضمينها.
3. محرك التصور: يولد واجهة تصور تفاعلية.
4. معالج الاستعلامات: يعالج استعلامات المستخدم وحساب التشابه.

تدفق البيانات

1. إدخال المستندات ← تقسيم النص إلى كتل ← التحويل إلى متجهات ← التخزين
2. إدخال الاستعلام ← التحويل إلى متجهات ← حساب التشابه ← تصور النتائج

ملخص

RAGxplorer هي أداة قوية وسهلة الاستخدام لتصور RAG، توفر للمطورين وسيلة فعالة لفهم وتحسين أنظمة RAG بعمق. من خلال واجهة التصور البديهية، يمكن للمستخدمين تصحيح أخطاء تطبيقات الذكاء الاصطناعي القائمة على التوليد المعزز بالاسترجاع وتحسينها بشكل أفضل.