كورس ML from Human Feedback يعلم الآلة أن تفهم الإنسان حيث أنه من ضمن مقررات علوم الحاسب ويقدم من برامج الدراسات العليا بالتحديد لطلاب الماجستير والدكتوراه في تعلم الآلة والجامعه تعتبر ذلك الكورس جزء من المتطلبات التخصصية لبعض مسارات الدراسات العليا وأصبح الطالب يحصل من خلاله على خبرة بحثية منظمة في تعلم الآلة التي تعتمد على التفضيلات البشرية بدل من الدوال الرياضية.
ومن أسباب تواجد هذا الكورس حيث أنه في السنوات الأخيرة ظهرت مشكلة كبيرة في الذكاء الاصطناعي الحديث وهو من الصعب تعريف أهداف دقيقة للمهام المعقدة لذلك ظهرت فكرة أن التغذية الراجعة البشرية يمكن أن تستخدم كمرجع لتوجيه التدريب أفضل من قواعد رياضية جامدة وذلك دفع جامعة ستانفورد لتأسيس كورس أكاديمي كامل يدرس هذه الأفكار من الأساس النظري إلى التطبيقات العملية.
لذلك أول مرة تم تقديم الكورس في فصل الخريف 2023 في ستانفورد تحت عنوان CS329H وبعد النجاح الأكاديمي للمحتوى استمر تقديمه في فصل الخريف أيضا بنفس الفريق التدريسي كما أنه في الواقع في جهود بحثية وأكاديمية مرتبطة بالمقرر تجمعت لاحقا في كتاب أكاديمي بعنوان Machine Learning from Human Preferences كمرجع شامل للطلاب والباحثين لعكس مدى تطور المجال الأكاديمي نفسه.
خطة كورس ML from Human Feedback :
1. أهم ما يميز كورس CS329H أنه عبارة عن هيكل أكاديمي متكامل تم تصميمه بعناية تامه ليتناسب مع طبيعة المجال البحثي المتقدم الذي ينتمي إليه حيث أن التوجه الأساسي له يكون إلى طلاب الماجستير والدكتوراه ومجموعه الأشخاص المهتمين بتعلم الآلة المتقدم ومواضيع AI Alignment.
2. يفترض الكورس امتلاك الدارس خلفية قوية عن أساليب تعلم الآلة وأيضا له دراسة كافيه عن الاحتمالات والإحصاء ثم الخوارزميات بأكملها ويمتلك معرفة مبادئ وأساسيات التعلم المعزز ويعتمد الكورس على محاضرات أكاديمية منتظمة تقدم بأسلوب تحليلي لكي تركز على بناء الفهم النظري للمجال.
3. أنواع المحاضرات عبارة عن الأسس الرياضية لتعلم التفضيلات البشرية وأيضا نماذج الاختيار والقرار والتعلم الكافي عن تصميم دوال المكافأة من بيانات بشرية كما يهتم أيضا بجانب الإطار النظري للتعلم المعزز المعتمد على الإنسان وتدعم جميع المحاضرات أوراق بحثية منشورة في مؤتمرات علمية ويرسخ لدى الطالب القدرة على قراءة الأبحاث وفهم مناهجها ونقدها علميا.
4. جزء أساسي من الهيكل الأكاديمي للكورس يتمثل في قراءة أوراق بحثية حديثة ومناقشة النتائج ثم تحليل نقاط القوة والقصور في النماذج المقترحة وأيضا يشجَّع الطلاب على طرح أسئلة بحثية والمقارنة بين المناهج المختلفة ويهدف إلى تنمية التفكير البحثي وليس الاكتفاء بالفهم السطحي للمحتوى.
5. يحتوي الكورس علي واجبات تطبيقية هدفها القيام بتنفيذ نماذج تعلم من التفضيلات البشرية مع تحليل نتائج تلك النماذج وتفسيرها إحصائيا حيث تعتبر هذه الواجبات حلقة وصل كاملة بين المفاهيم النظرية ← التطبيق العملي ← التحليل العلمي.
6. في نهاية الكورس يعتبر المشروع النهائي الركيزة الأساسية في الهيكل الأكاديمي للكورس ويطلب من الطلاب اختيار مشكلة حقيقية في مجال ML from Human Feedback مع تصميم منهج علمي لحلها وتكون المشاريع بحثية بحتة لتشجيع الطلاب لإنتاج أعمال قابلة للتطوير إلى أوراق بحثية مستقبلية.
7. يعتمد تقييم الطلاب في الكورس على المشاركة في المناقشات وجودة الواجبات التطبيقية وأيضا العمق البحثي في المشروع النهائي ثم مدي امكانية القدرة على التحليل والتفسير العلمي ولا يعتمد التقييم على الامتحانات التقليدية والاختبارات الجامدة لكن على الأداء البحثي والتطبيقي الفعال بمرونه.
أقرأ أيضا : كورس Language Models from Scratch (CS336) مبادئ بناء النماذج اللغوية
الأخطاء الشائعة عند دراسة ML from Human Feedback :
بالرغم من القيمة العلمية العالية للكورس لكن كثيرًا من الدارسين لا يحققون الاستفادة الأكاديمية الكاملة منه بسبب أسلوب التعامل مع الكورس ذاته ومن أكثر الأخطاء شيوعا افتراض أن CS329H يشبه الدورات التدريبية العملية المنتشرة على المنصات التعليمية.
أيضا فقدان العمق النظر والتركيز على التنفيذ دون إدراك الفلسفة العلمية وراءه حيث أن الكورس في حقيقته مقرر بحثي وليس مجرد تدريب مهاري مباشر وأيضا يقع بعض الدارسين في خطأ التقليل من أهمية الاحتمالات والاعتماد على الحفظ بدل التحليل وهو ما يتعارض مع الهدف الأكاديمي للكورس.
المحاضرات تمثل مدخلًا للموضوع فقط بينما التفاصيل المنهجية والبرهان العلمي وحدود النماذج توجد جميعها داخل الأوراق البحثية المصاحبة حيث أن تجاهل هذه الأوراق يفقد الدارس القدرة على التفكير النقدي لذلك من الأفضل عدم الاعتماد الكلي علي المحاضرات فقط لأنها ليست كافية.
من الأخطاء المفاهيمية الشائعة تقييم النموذج فقط من حيث الدقة العددية وتجاهل جودة تمثيل التفضيلات البشرية حيث أن في هذا المجال النموذج قد يكون دقيق حسابي لكنه لا يعكس القيم البشرية أو يتأثر بانحيازات البيانات البشرية وذلك الأمر هو الذي يناقض هدف التعلم من الإنسان.
البيانات البشرية ليست مثالية بطبيعتها ومن الأخطاء التعامل مع التفضيلات البشرية كحقيقة مطلقة وأحيانا إهمال تأثير السياق والتباين الفردي وذلك يؤدي لنتائج غير قابلة للتعميم ومن أبرز الأخطاء التركيز على النتيجة النهائية دون تحليل المسار بينما يهدف الكورس إلى فهم كيف ولماذا يتعلم النموذج.
إغفال البعد الأخلاقي من أخطاء دراسة هذا المجال لأن التفضيلات البشرية مرتبطة بالقيم وأيضا النماذج قد تؤثر على قرارات حقيقية حيث أن الكورس لا يناقش الأخلاقيات كموضوع جانبي بل جزء جوهري من الإطار العلمي وأيضا دراسة الكورس دون هدف بحثي واضح يجعل المحتوى متراكم دون اتجاه.
