كيفية بناء نماذج ذكاء اصطناعي مثلChatGPT.. محاضرة من جامعة ستانفورد

مقدمة

ضمن مساق “التعلم الآلي” (CS229) في جامعة ستانفورد، انطلقت محاضرة حافلة بالمعلومات أبحر فيها “يان دوبوا“، طالب الدكتوراه في علوم الحاسوب، في أعماق بناء نماذج الذكاء الاصطناعي مثل ChatGPT.

ركّز دوبوا على كشف التفاصيل الخفية في عملية تطوير هذه النماذج، بدءًا من التدريب الأساسي (Pretraining) باستخدام كميات هائلة من البيانات من الإنترنت، وصولًا إلى التدريب اللاحق (Post-training) عبر التعلم المعزز بالتغذية الراجعة البشرية (RLHF) لتحسين التفاعل مع المستخدم.

تميّزت المحاضرة بمزيجها الفريد بين النظريات الأكاديمية والتطبيقات العملية، مقدمةً رؤية متكاملة للجوانب الأساسية في تدريب وتطوير هذه النماذج. حيث حرص الباحث أن لا تكون المحاضرة مجرد شرح نظري، بل ناقشت أيضًا التحديات الواقعية التي تواجه الباحثين عند الانتقال من النماذج التجريبية إلى الاستخدام الفعلي، مما أضفى عليها بُعدًا عمليًا يستهدف سد الفجوة بين البحث الأكاديمي والتطبيقات الصناعية.

في هذا المقال أهم ما جاء في المحاضرة:

في بداية حديثه، شدّد يان دوبوا على أن معظم الأبحاث الأكاديمية تركّز على العمارة والخوارزميات، مثل استخدام Transformer، إلا أن الشركات التقنية الكبرى تولي اهتمامًا أكبر بالجوانب الأخرى، مثل إدارة البيانات وتحسين النظم وآليات التقييم.

بينما يهتم الباحثون بتطوير خوارزميات جديدة، فإن الصناعة تركز على شيء أكثر حسمًا: كيف يمكن للنموذج أن يعمل بشكل فعّال وموثوق على نطاق واسع.

هكذا أوضح يان الفرق بين المقاربة الأكاديمية والعملية في هذا المجال.

الركائز الخمس لبناء نماذج الذكاء الاصطناعي

وفقًا لما جاء في المحاضرة، هناك خمسة مكونات رئيسية لبناء نموذج مثل ChatGPT.

• البنية (Architecture): وهي تشمل تصميم النموذج، حيث يتم الاعتماد غالبًا على بنى الـ Transformer. هذا التصميم هو العمود الفقري لمعظم النماذج الحديثة، بما في ذلك ChatGPT وGPT-4.
• خوارزمية التدريب / دالة الخسارة (Training Algorithm/Loss): تستخدم النماذج خسارة الإنتروبيا المتقاطعة (Cross-Entropy) لتعليم النموذج كيفية التنبؤ بالكلمة التالية بدقة.
• البيانات (Data): وهذا هو المكان الذي يتم فيه الحديث عن أهمية جمع وتنظيم البيانات المستخدمة في تدريب النموذج.
• التقييم (Evaluation): كيف يتم اختبار النموذج وقياس مدى فعاليته في تحقيق أهدافه.
• الأنظمة (Systems): تتعلق بكيفية استخدام البنية التحتية الحاسوبية، مثل وحدات المعالجة الرسومية (GPUs)، لتدريب النماذج الضخمة.

التدريب المسبق مقابل التدريب بعد الإعداد: أين يحدث السحر؟

تميّزت المحاضرة بشرح دقيق للفارق بين التدريب المسبق (Pretraining)، حيث يتم تغذية النموذج بكل البيانات المتاحة، والتدريب بعد الإعداد (Post-Training)، الذي يشمل تطبيق التعلم المعزز بالتغذية الراجعة البشرية (RLHF). وأوضح يان كيف أن هذه المرحلة الأخيرة تجعل النموذج أكثر انسجامًا مع احتياجات المستخدمين، مثل تجنّب المحتوى غير الملائم وتقديم الإجابات المناسبة.

ChatGPT لم يكن ليحقق نجاحه دون RLHF. هذه التقنية جعلت النموذج قادرًا على فهم تفضيلات المستخدمين بدقة.

تحديات البيانات: ليس كل ما يلمع في الإنترنت ذهبًا

أوضح يان أن جمع البيانات من الإنترنت ليس بالبساطة التي قد يظنها البعض. فالإنترنت مليء بالمحتويات المكررة وغير المفيدة، مما يجعل تنقية البيانات وتصفية المحتويات الحساسة تحديًا كبيرًا.

كما أشار إلى أن بعض الشركات تلجأ إلى التدريب على المحتوى المشفر أو المحمي بالحقوق، مما يفتح المجال لنقاشات قانونية وأخلاقية حول البيانات المستخدمة.

التقييم والاختبارات: كيف تعرف أن النموذج يعمل بشكل جيد؟

أحد الجوانب التي ركز عليها يان كان التقييم. وأوضح أن التقييم باستخدام الاختبارات المعيارية (Benchmarks)، مثل MMLU، أصبح أمرًا شائعًا. لكن هناك تحديات تتعلق باتساق نتائج التقييم، خاصة عندما تختلف معايير التقييم بين الشركات المختلفة.

“ما يتم قياسه لا يعكس دائمًا الواقع. قد تحصل النماذج على نتائج عالية في الاختبارات لكنها تفشل في التعامل مع أسئلة حقيقية.”

التوجهات المستقبلية: نحو نماذج أكثر ذكاءً وأقل تكلفة

اختتم يان محاضرته بنظرة مستقبلية، مشيرًا إلى أن التوسع في حجم البيانات وقوة النماذج لا يزال هو الاتجاه السائد. لكنه نبّه إلى أن التحدي في المستقبل سيكون في إدارة تكاليف التدريب واستهلاك الطاقة، مع محاولة تطوير أنظمة أكثر كفاءة.

التقنيات مثل Mixture of Experts قد تكون مفتاحًا للمستقبل، حيث يمكننا تحسين الأداء بتكاليف أقل.

خاتمة: التدريب، البيانات، والأنظمة هي مفتاح النجاح

في ختام المحاضرة، شدّد يان دوبوا على أن نجاح نماذج مثل ChatGPT لا يعتمد فقط على الخوارزميات، بل على جودة البيانات، وإدارة النظم، وتقييم الأداء بفعالية. وترك الحضور بنصيحة أخيرة: