المرحلة الرابعة: التعلم العميق والشبكات العصبية

أسس نماذج اللغة الكبيرة (ZJU-LLMs)

نظرة عامة

أسس نماذج اللغة الكبيرة (Foundations of LLMs) هو كتاب تعليمي شامل ومورد تعليمي أنشأه مختبر قواعد البيانات وتحليلات البيانات الكبيرة (DAILY Lab) في جامعة تشجيانغ. يشرح هذا المشروع مفتوح المصدر بشكل منهجي المعرفة الأساسية ويقدم التقنيات المتطورة المتعلقة بنماذج اللغة الكبيرة (LLMs) للقراء المهتمين بهذا المجال سريع التطور.

المستودع: https://github.com/ZJU-LLMs/Foundations-of-LLMs النجوم: 11.4 ألف+ على GitHub التنسيق: كتاب PDF مع مواد فصلية وقوائم الأوراق البحثية

فلسفة المشروع

يلتزم فريق المؤلفين بما يلي:

• الاستماع إلى اقتراحات من مجتمع المصادر المفتوحة والخبراء
• تقديم تحديثات شهرية للحفاظ على حداثة المحتوى
• إنشاء كتاب مدرسي شامل ودقيق ومتعمق حول النماذج الكبيرة
• تتبع أحدث التطورات التكنولوجية من خلال قوائم الأوراق البحثية المنسقة لكل فصل

هيكل المحتوى

تتكون الطبعة الأولى من ستة فصول رئيسية، يستخدم كل منها حيوانًا مختلفًا كخلفية موضوعية لتوضيح تقنيات محددة:

الفصل الأول: نماذج اللغة التقليدية

• المفاهيم الأساسية في نمذجة اللغة
• السياق التاريخي وتطور نماذج اللغة

الفصل الثاني: بنية نماذج اللغة الكبيرة

• تطور هياكل LLM
• الابتكارات المعمارية الرئيسية ومبادئ التصميم
• تحليل مقارن لهياكل النماذج المختلفة

الفصل الثالث: هندسة المطالبات (Prompt Engineering)

• تقنيات لتصميم المطالبات الفعال
• استراتيجيات تحسين المطالبات
• التطبيقات وأفضل الممارسات

الفصل الرابع: الضبط الدقيق الفعال للمعلمات (PEFT)

• طرق لتكييف النموذج بكفاءة
• تقنيات الضبط الدقيق للموارد المنخفضة
• LoRA، والضبط المسبق (Prefix-tuning)، ومناهج PEFT الأخرى

الفصل الخامس: تعديل النموذج

• تقنيات لتعديل معرفة النموذج
• تحديث المعرفة وطرق التصحيح
• الحفاظ على سلامة النموذج أثناء التعديلات

الفصل السادس: التوليد المعزز بالاسترجاع (RAG)

• دمج أنظمة الاسترجاع مع النماذج التوليدية
• تعزيز مخرجات LLM بالمعرفة الخارجية
• هياكل RAG واستراتيجيات التنفيذ

الموارد المتاحة

1. الكتاب المدرسي الكامل

• نسخة PDF كاملة متوفرة باللغة الصينية
• نسخة إنجليزية متاحة أيضًا
• تغطية شاملة لجميع الفصول الستة

2. محتوى الفصل تلو الفصل

• ملفات PDF فردية لكل فصل
• يسمح بالدراسة المركزة على مواضيع محددة
• سهولة التنقل والمرجعية

3. قوائم الأوراق البحثية

• مجموعات منسقة من الأوراق البحثية ذات الصلة لكل فصل
• يتم تحديثها باستمرار بأحدث الأبحاث
• تتبع التطورات المتطورة في كل مجال

التوجهات المستقبلية

يخطط فريق المؤلفين لتوسيع الكتاب المدرسي بفصول إضافية تغطي:

• تسريع استدلال LLM: تقنيات لاستدلال النموذج بشكل أسرع
• وكلاء LLM: وكلاء مستقلون مدعومون بنماذج لغة كبيرة
• مواضيع ناشئة إضافية في مشهد LLM

الجمهور المستهدف

تم تصميم هذا المورد التعليمي من أجل:

• الطلاب والباحثين في الذكاء الاصطناعي ومعالجة اللغة الطبيعية
• الممارسين العاملين مع LLMs
• أي شخص مهتم بفهم أسس نماذج اللغة الكبيرة
• المطورين الذين يبنون تطبيقات تعتمد على LLM

الميزات الفريدة

1. التعلم البصري: يتميز كل فصل بموضوع حيواني فريد لجعل المفاهيم أكثر تذكرًا وجاذبية
2. مدفوعة بالمجتمع: مفتوحة للقضايا والملاحظات من المجتمع
3. تحديثات منتظمة: تضمن التحديثات الشهرية بقاء المحتوى حديثًا
4. قوائم الأوراق البحثية الشاملة: يتضمن كل فصل أوراق بحثية منسقة
5. مجاني ومفتوح: مفتوح المصدر بالكامل ويمكن الوصول إليه بحرية
6. دعم ثنائي اللغة: متوفر باللغتين الصينية والإنجليزية

الدقة الأكاديمية

يعتمد المحتوى على استكشاف فريق المؤلفين وفهمه للاتجاهات البحثية ذات الصلة. يرحب الفريق بنشاط بالتصحيحات والاقتراحات من خلال مشكلات GitHub، مما يضمن التحسين المستمر والدقة.

معلومات الاتصال

للأسئلة أو الاقتراحات المتعلقة بالكتاب المدرسي:

• البريد الإلكتروني: xuwenyi@zju.edu.cn
• مشكلات GitHub: أرسل ملاحظات واقتراحات مباشرة على المستودع

لماذا هذا المورد مهم

أصبحت نماذج اللغة الكبيرة واحدة من أكثر التطورات التكنولوجية ثورية في الذكاء الاصطناعي. يوفر هذا الكتاب المدرسي:

• أساس منهجي: بناء الفهم من النماذج التقليدية إلى LLMs الحديثة
• تقنيات عملية: تعلم طرق قابلة للتنفيذ للعمل مع LLMs
• اتصالات بحثية: ابق على اتصال بأحدث الأبحاث من خلال قوائم الأوراق البحثية
• التعلم التدريجي: الانتقال من المفاهيم الأساسية إلى التقنيات المتقدمة

تقدير المجتمع

مع أكثر من 11400 نجمة على GitHub، اكتسب هذا المشروع اعترافًا كبيرًا في مجتمع الذكاء الاصطناعي / تعلم الآلة كمورد تعليمي قيم لفهم نماذج اللغة الكبيرة.