المرحلة الرابعة: التعلم العميق والشبكات العصبية

دورة CS336 بجامعة ستانفورد، تشرح بشكل منهجي كيفية بناء نموذج لغوي كبير من الصفر، وتغطي معالجة البيانات، وهندسة Transformer، وتدريب النموذج، وتحسين وحدة معالجة الرسومات (GPU)، والحوسبة المتوازية، والمواءمة الكاملة لـ RLHF.

Start Learning AI →
نموذج_لغويTransformerستانفوردYouTubeVideoFreeEnglish

ستانفورد CS336: نمذجة اللغة من الصفر | ربيع 2025

نظرة عامة على الدورة

اسم الدورة: CS336 - نمذجة اللغة من الصفر
وقت البدء: فصل الربيع 2025
المؤسسة: Stanford Online
شكل الدورة: سلسلة محاضرات فيديو كاملة (17 محاضرة)
تاريخ النشر: 8 يوليو 2025

مقدمة الدورة

تُعد نماذج اللغة حجر الزاوية لتطبيقات معالجة اللغة الطبيعية (NLP) الحديثة، وقد فتحت نموذجًا جديدًا: امتلاك نظام واحد للأغراض العامة للتعامل مع مهام متنوعة لاحقة. مع التطور المستمر في مجالات الذكاء الاصطناعي (AI) والتعلم الآلي (ML) ومعالجة اللغة الطبيعية، أصبح الفهم العميق لنماذج اللغة أمرًا بالغ الأهمية للعلماء والمهندسين.

تهدف هذه الدورة إلى تزويد الطلاب بفهم شامل لنماذج اللغة، من خلال إرشادهم خلال العملية الكاملة لتطوير نموذج لغتهم الخاص. مستوحاة من فكرة إنشاء نظام تشغيل كامل من الصفر، ستأخذ هذه الدورة الطلاب عبر كل جانب من جوانب إنشاء نموذج اللغة، بما في ذلك:

  • جمع البيانات وتنظيفها (للتدريب المسبق)
  • بناء نموذج المحول (Transformer)
  • تدريب النموذج
  • التقييم قبل النشر

معلومات الدورة

مخطط الدورة

المحاضرة 1: نظرة عامة وتقسيم الكلمات (1:18:59)

  • نظرة عامة على الدورة
  • مقدمة لتقنيات تقسيم الكلمات (Tokenization)
  • عدد المشاهدات: 250 ألف+

المحاضرة 2: PyTorch، محاسبة الموارد (1:19:22)

  • استخدام إطار عمل PyTorch
  • محاسبة الموارد
  • عدد المشاهدات: 87 ألف+

المحاضرة 3: البنى، المعلمات الفائقة (1:27:03)

  • تصميم بنية النموذج
  • ضبط المعلمات الفائقة (Hyperparameters)
  • عدد المشاهدات: 65 ألف+

المحاضرة 4: مزيج الخبراء (1:22:04)

  • نموذج مزيج الخبراء (Mixture of Experts)
  • عدد المشاهدات: 46 ألف+

المحاضرة 5: وحدات معالجة الرسوميات (GPUs) (1:14:21)

  • مبادئ وتطبيقات حوسبة GPU
  • عدد المشاهدات: 39 ألف+

المحاضرة 6: النوى، ترايتون (1:20:22)

  • تحسين النوى (Kernels)
  • إطار عمل Triton
  • عدد المشاهدات: 26 ألف+

المحاضرة 7: التوازي 1 (1:24:42)

  • تقنيات الحوسبة المتوازية (الجزء الأول)
  • عدد المشاهدات: 24 ألف+

المحاضرة 8: التوازي 2 (1:15:18)

  • تقنيات الحوسبة المتوازية (الجزء الثاني)
  • عدد المشاهدات: 15 ألف+

المحاضرة 9: قوانين التوسع 1 (1:05:18)

  • قوانين التوسع (Scaling Laws) (الجزء الأول)
  • عدد المشاهدات: 18 ألف+

المحاضرة 10: الاستدلال (1:22:52)

  • تحسين الاستدلال (Inference)
  • عدد المشاهدات: 19 ألف+

المحاضرة 11: قوانين التوسع 2 (1:18:13)

  • قوانين التوسع (الجزء الثاني)
  • عدد المشاهدات: 13 ألف+

المحاضرة 12: التقييم (1:20:48)

  • طرق تقييم النموذج
  • عدد المشاهدات: 13 ألف+

المحاضرة 13: البيانات 1 (1:19:06)

  • معالجة البيانات (الجزء الأول)
  • عدد المشاهدات: 14 ألف+

المحاضرة 14: البيانات 2 (1:19:12)

  • معالجة البيانات (الجزء الثاني)
  • عدد المشاهدات: 12 ألف+

المحاضرة 15: المحاذاة - SFT/RLHF (1:14:51)

  • تقنيات المحاذاة (Alignment)
  • الضبط الدقيق بالإشراف (SFT)
  • التعلم المعزز من ردود الفعل البشرية (RLHF)
  • عدد المشاهدات: 19 ألف+

المحاضرة 16: المحاذاة - التعلم المعزز 1 (1:20:32)

  • المحاذاة - التعلم المعزز (الجزء الأول)
  • عدد المشاهدات: 19 ألف+

المحاضرة 17: المحاذاة - التعلم المعزز 2 (1:16:09)

  • المحاذاة - التعلم المعزز (الجزء الثاني)
  • عدد المشاهدات: 16 ألف+

مميزات الدورة

  1. شمولية عالية: تغطي العملية الكاملة لتطوير نموذج اللغة، من إعداد البيانات إلى نشر النموذج.
  2. موجهة نحو الممارسة: تركز على التطبيق العملي، حيث سيقوم الطلاب ببناء نموذج لغتهم الخاص.
  3. تقنية عميقة: تتناول مواضيع متقدمة مثل تحسين GPU، الحوسبة المتوازية، Triton، وغيرها.
  4. محتوى متطور: تتضمن أحدث تقنيات المحاذاة (RLHF) وأبحاث قوانين التوسع.
  5. ممارسة هندسية: تركز على المشكلات الهندسية مثل محاسبة الموارد وتحسين الأداء.

الفئات المستهدفة

  • الباحثون الذين يأملون في فهم عميق لمبادئ عمل نماذج اللغة الكبيرة.
  • المهندسون الذين يرغبون في بناء نماذج لغة من الصفر.
  • الطلاب الذين لديهم أساس في معالجة اللغة الطبيعية والتعلم العميق.
  • العلماء والممارسون في مجالات الذكاء الاصطناعي والتعلم الآلي.

المتطلبات المسبقة

  • أساس برمجي متين (Python)
  • معرفة أساسية بالتعلم العميق
  • فهم المفاهيم الأساسية للشبكات العصبية
  • الإلمام بنظرية التعلم الآلي الأساسية

مصادر التعلم

  • محاضرات الفيديو: قائمة تشغيل كاملة على YouTube
  • موقع الدورة: يتضمن مواد الدورة والواجبات التفصيلية
  • GitHub: https://stanford-cs336.github.io/

ملخص

هذه دورة قيمة للغاية، مناسبة للمتعلمين الذين يرغبون في فهم وإتقان تقنيات نماذج اللغة حقًا. من خلال الدراسة المنهجية، سيتمكن الطلاب من بناء وتدريب ونشر نموذج لغتهم الخاص بشكل مستقل، وفهم أحدث تقنيات معالجة اللغة الطبيعية بعمق.