نماذج اللغات الكبيرة: انتشار سريع ومنافسة دولية ناشئة

نموذج اللغة الكبيرة (LLM) هو نوع من خوارزمية الذكاء الاصطناعي (AI) التي تستخدم تقنيات التعلم العميق ومجموعات البيانات الضخمة، لفهم المحتوى الجديد وتلخيصه وإنشاءه والتنبؤ به.

وقد تطور هذا القطاع بشكل هائل، خلال السنوات القليلة الماضية، بحيث بات يعتبر ثورة تكنولوجية، سيكون لها تأثير كبير على المستقبل البشري.

ويناقش محرر التعليقات الاستراتيجية " بول فرايولي" في هذا المقال، الذي نشره موقع "المعهد الدولي للدراسات الاستراتيجية - IISS"، الاهتمام العام المفاجئ بنماذج اللغة الكبيرة مثل OpenAI's ChatGPT، مبيناً كيف صار هذا القطاع مجال اهتمام صانعي السياسات، الذين يستثمرون الآن بشكل متزايد في المنافسة الوطنية على تطوير نموذج اللغة.

النص المترجم:

لقد تحسنت قدرات النماذج اللغوية الكبيرة بشكل ملحوظ في السنوات الأخيرة، ولفتت انتباه الرأي العام على نطاق أوسع، مع إصدار برنامج OpenAI's ChatGPT في تشرين الثاني / نوفمبر 2022. يشمل الاهتمام العام المفاجئ بهذه النماذج الانتباه من الجهات الفاعلة الخبيثة المحتملة، والتي قد تسعى إلى إساءة استخدامها، والاهتمام من صانعي السياسات، الذين يستثمرون الآن بشكل متزايد في المنافسة الوطنية على تطوير نموذج اللغة، وتأمين الوصول إلى المقدار الهائل من القوة الحاسوبية اللازمة لدعم الابتكار في هذا المجال.

في 30 تشرين الثاني / نوفمبر 2022، أصدرت شركة التكنولوجيا الأمريكية OpenAI نموذجًا كبيرًا للغة يسمى ChatGPT، يسمح للجمهور بالتحدث باستخدام روبوت محادثة للذكاء الاصطناعي (AI).

اجتذب النموذج، الذي يحاكي لغة البشر، أكثر من 100 مليون مستخدم نشط بحلول كانون الثاني / يناير 2023، ليصبح أسرع تطبيق برمجي على الإطلاق يصل إلى هذا الإنجاز. ومع ذلك، لاحظ العديد من المستخدمين أن النموذج - مثل الآخرين مثل Microsoft Bing، الذي تم إنشاؤه باستخدام إصدار محدث من برنامج OpenAI - ، ينتج أحيانًا مخرجات مسيئة أو صادمة أو مشحونة سياسياً. أكدت هذه المخرجات الحقيقة، التي أكد عليها الباحثون منذ فترة طويلة، وهي أن المجال الفرعي لنمذجة اللغة في الذكاء الاصطناعي سيكون عرضة للاستخدام وإساءة الاستخدام من قبل المروجين وغيرهم من الجهات الفاعلة الخبيثة.

قام باحثو OpenAI بتدريب النموذج الأساسي لـ ChatGPT ، والذي تم تحديثه في 13 آذار / مارس 2023 من النموذج المعروف باسم Generative Pre-trainer Transformer 3 (GPT-3) إلى GPT-4 ، باستخدام كميات هائلة من نصوص الإنترنت بهدف التنبؤ المحتمل بالكلمة التالية في أي تسلسل النص. حقيقة أن هذه النماذج هي في الأساس تنبؤات الكلمة التالية تعني أنها تحاكي المحتوى المكتسب من بيانات التدريب حتى عندما يكون هذا المحتوى متحيزًا أو غير صحيح أو ضار. ومع ذلك، على الرغم من تدريبهم على هذه المهمة البسيطة، فقد أظهرت العديد من النماذج اللغوية قدرات جديدة مثل كتابة كود الكمبيوتر، والترجمة بين اللغات، وحتى التمييز بين التحركات القانونية وغير القانونية في الشطرنج. وفي الوقت نفسه، فإن القدرات التي قد تكتسبها النماذج التي لم يتم إصدارها بعد - والتداعيات الاجتماعية والسياسية لها - تظل غير واضحة. يشمل الاهتمام العام المفاجئ بهذه النماذج الانتباه من الجهات الفاعلة الخبيثة المحتملة، والتي قد تسعى إلى إساءة استخدامها، واهتمام صانعي السياسات، الذين يستثمرون الآن بشكل متزايد في المنافسة الوطنية على تطوير نموذج اللغة، وتأمين الوصول إلى المقدار الهائل من القوة الحاسوبية اللازمة، لدعم الابتكار في هذا المجال.

انتشار النموذج

لقد تحسنت قدرات النماذج اللغوية الكبيرة بشكل ملحوظ في السنوات الأخيرة، مع إنشاء OpenAI لـ GPT-3 في عام 2020 بمثابة معلم هام. ترجع هذه التحسينات إلى إنشاء بنى نموذجية أكبر وأكثر تنوعًا بالإضافة إلى الزيادات في أحجام مجموعات البيانات والمبالغ التي أنفقتها شركات التكنولوجيا لزيادة القوة الحسابية التي تم إنفاقها لتدريب النماذج. تشير الدراسات التجريبية إلى وجود علاقات قوية بين حجم مجموعة البيانات وميزانية الحوسبة وعدد المعلمات لنموذج معين، وأن ميزانيات الحوسبة، في الممارسة العملية، هي أقوى قيد على تحسين النموذج.

بالإضافة إلى ذلك، يقوم المزيد من الجهات الفاعلة بتطوير نماذج لغوية كبيرة، مع انتشار يحدث على طول ثلاثة أبعاد. أولاً، كما يوضح الشكل 1، يتم إجراء الأبحاث حول نماذج اللغة الكبيرة بشكل أساسي في الولايات المتحدة، لكن الباحثين في البلدان الأخرى - لا سيما الصين، بالإضافة إلى معاهد بحثية محددة في أماكن أخرى، مثل DeepMind في المملكة المتحدة - استثمروا موارد كبيرة في بناء النماذج الخاصة بهم. ثانيًا، توسعت أنواع المؤسسات التي تطور نماذج لغوية لتشمل كلاً من شركات التكنولوجيا الكبيرة مثل Google وMicrosoft بالإضافة إلى مجموعات الباحثين اللامركزية. وثالثًا، اكتشف المطورون مجموعة واسعة بشكل متزايد من استراتيجيات الإصدار، بما في ذلك حجب النماذج من الإصدار (إستراتيجية Google حتى الإصدار المحدود من Bard في 21 آذار / مارس 2023)، وتقييد الوصول إلى المخرجات خلف واجهة برمجة التطبيقات (API) (مثل OpenAI لديها تم ذلك باستخدام ChatGPT)، وإصدار نماذج بموجب تراخيص غير تجارية (كما فعلت Meta مع نماذجها، المسماة Open Pre-trainers Transformers و LLaMA)، ونشر نماذج كاملة وقابلة للتنزيل على الإنترنت (كما فعلت مجموعات الأبحاث EleutherAI و BigScience). إن انتشار هذه النماذج له تأثيران على المدى القريب بالنسبة للأمن المحلي والوطني: من المحتمل أن تتيح هذه النماذج إنتاج محتوى عالي الجودة وكميات أكبر لعمليات التأثير، وقد تؤدي المنافسة على تطوير نموذج اللغة إلى تصعيد التوترات الجيوسياسية.

نماذج اللغة كأدوات التأثير

تتفوق التكرارات الحالية لنماذج اللغة الكبيرة في إنتاج نص مكتوب حديثًا استنادًا إلى مدخلات المستخدم، ولكنها أيضًا مقيدة بميلها إلى "الهلوسة" (ذكر الاختراعات كحقائق)، والتشتت في التركيز على مقاطع طويلة من النص وإنتاج متحيز، المخرجات الضارة أو الصادمة (على الرغم من أن النتيجة الأخيرة غالبًا ما تكون نتيجة مطالبة المستخدم). ومع ذلك، قد تكون هذه الإخفاقات مفيدة لإنتاج معلومات مضللة. نظرًا لأن عمليات التأثير الحديثة غالبًا ما تعتمد على مقتطفات قصيرة من النص تهدف إلى إثارة ردود فعل قوية - سلبية أو غاضبة عادةً - ولا يلزم أن تكون صحيحة من الناحية الواقعية، يشك العديد من الباحثين في أن دعاة الدعاية سيبدأون قريبًا في استخدام النماذج اللغوية لأتمتة إنتاج المحتوى على نطاق واسع.

أظهر الباحثون أن النص الذي أنتجته النماذج اللغوية مثل GPT-3، يمكن أن يغير بشكل هادف معتقدات القراء، بما في ذلك الموضوعات السياسية الحساسة وبأحجام مماثلة للمعلومات المضللة التي كتبها الإنسان. يمكن للنماذج اللغوية أن تحاكي المعتقدات الهامشية بشكل فعال، ولا تميل إلى إساءة ترجمة المصطلحات أو اللجوء إلى التكتيكات الفظة التي يستخدمها دعاة الدعاية البشرية غالبًا لتوفير الوقت، مثل النسخ المتكرر ولصق نفس المحتوى عبر حسابات متعددة. تحفز هذه الميزات الدعاة بقوة على زيادة عملياتهم بنماذج اللغة، ربما باستخدام فرق بشرية - آلة لديها القدرة على زيادة جودة النصوص المنتجة بتكاليف هامشية منخفضة بشكل معتدل.

لدى الدعاية المحلية أو الدولية خياران عريضان للوصول إلى نماذج اللغة الكبيرة: استخدام نماذج أقل تعقيدًا، ولكنها متاحة للجمهور، أو الاعتماد على شركات الذكاء الاصطناعي التي توفر وصولاً منظمًا للمدخلات / المخرجات إلى نماذجها الأكثر قدرة عبر واجهات برمجة التطبيقات. يتيح الخيار الأول للقائمين على الدعاية حرية الضبط، وتقديم مساهمات صغيرة لبيانات تدريب النموذج لإحداث تغييرات في سلوكه وممارسة المزيد من التحكم في مخرجات النموذج. على سبيل المثال، يمكن تصميم النموذج بمجموعة بيانات متحيزة سياسياً للتأكد من أنه يتخلف عن المواضع المرغوبة أيديولوجياً. يمكن أن تعوض هذه الميزة الخسارة في الجودة التي تأتي مع الاعتماد على النماذج العامة، والتي لا يوجد منها حاليًا بحجم أو قدرة أفضل النماذج الخاصة.

يجب تشغيل النماذج العامة محليًا من أجل إنتاج مخرجات، لكن العديد من نماذج اللغة كبيرة جدًا لدرجة أنها لا يمكن أن تناسب حتى المعالجات الأكثر قدرة على الذاكرة اليوم. سيكون من الممكن لمعظم الحكومات الوطنية بناء البنية التحتية الحاسوبية الضرورية داخل وكالة أمنية ذات صلة للتغلب على هذه العقبة، ولكن بغض النظر عن التكاليف، قد تكون المشكلات الفنية أيضًا بمثابة حاجز. على الرغم من حقيقة أن تقنية الفيديو المزيف العميق متاحة منذ عدة سنوات، إلا أنها لم تصبح أداة شائعة لدعاة الدعاية، وربما يرجع ذلك جزئيًا إلى أنها لا تزال تتطلب إتقانًا تقنيًا لاستخدامها. ومع ذلك، قد يتغير هذا أيضًا، لأن نماذج تحويل النص إلى صورة الأحدث مثل Midjourney أو Stable Diffusion تجعل من السهل إنشاء صور ذات مظهر واقعي من موجه نص فقط، دون الحاجة إلى رمز.

على النقيض من ذلك، لا يمكن ضبط النماذج الخاصة - على الرغم من أن الوصول إليها من خلال واجهة برمجة التطبيقات أكثر وضوحًا. لكن المطورين من القطاع الخاص حاولوا إزالة المحتوى الحساس أو التحريضي من مخرجات نماذجهم، وقد يمنعون أيضًا الوصول من بلدان معينة، أو يحظرون المستخدمين الفرديين الذين يبدو أنهم يستخدمون النماذج بشكل ضار. على الرغم من هذه المخاطر، فإن الوصول إلى النماذج عبر واجهة برمجة التطبيقات لا يفرض أي تكاليف فورية على دعاة الدعاية حتى لو تم القبض عليهم، مما يعني أنها قد تظل الطريقة المفضلة للوصول.

من المحتمل أن يكون من الصعب تحديد المروجين الذين يحاولون استخدام النماذج لإنشاء محتوى ضار. تدعي بعض الخدمات أنها قادرة على اكتشاف النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، ولكن يمكن خداعها ومن غير المرجح أن تتحسن بشكل أسرع من النماذج نفسها. قد يتم تدريب النماذج الفردية بطرق تسمح بإعادة تعريف النص الناتج بسهولة، ولكن ما لم يوافق جميع مطوري الذكاء الاصطناعي على استخدام أنظمة التدريب هذه، فلن تكون هذه الحلول قادرة على منع المستخدمين الخبثاء من إعادة نشر كميات كبيرة من النصوص التي تم إنشاؤها من نماذج بديلة.

تنافس دولي

في تشرين الأول / أكتوبر، أعلنت إدارة الرئيس الأمريكي جو بايدن عن ضوابط تصدير جديدة على رقائق أشباه الموصلات المتقدمة التي تتدفق إلى الصين، ويرجع ذلك جزئيًا إلى أن هذه الرقائق ضرورية لتطوير الذكاء الاصطناعي. في حين أن النية المعلنة من ضوابط التصدير، هي تقييد تطوير أنظمة الذكاء الاصطناعي المستخدمة للمراقبة أو التطبيقات العسكرية، فإن النماذج اللغوية تعتمد أيضًا بشكل كبير على أشباه الموصلات المتقدمة هذه. ربما كان الدافع وراء فرض ضوابط التصدير جزئيًا هو محاولة الحفاظ على مزايا الولايات المتحدة في نمذجة اللغة، سواء كان ذلك كجزء من استراتيجية أوسع لمنافسة تكنولوجيا الذكاء الاصطناعي، أو لأن الإدارة تريد منع تطوير الصين لنماذج اللغة على وجه الخصوص (على سبيل المثال)، بسبب المخاوف من استخدام مثل هذه النماذج لزيادة عمليات التأثير الصينية الحالية).

ولكن في حين أن الشركات خارج الولايات المتحدة حريصة على إنتاج نماذج لمنافسة ChatGPT، فإنها قد تواجه حواجز تنظيمية غير موجودة في الولايات المتحدة. في أوروبا، على سبيل المثال، يحاول المنظمون حاليًا توضيح كيفية توافق "الذكاء الاصطناعي للأغراض العامة" - وهي فئة تشمل نماذج لغوية كبيرة - مع الهيكل العام القائم على المخاطر لمشروع قانون الاتحاد الأوروبي للذكاء الاصطناعي. لم يتم تدريب النماذج اللغوية مع وضع مهمة محددة في الاعتبار ويمكن استخدامها للأغراض والأغراض الحميدة التي من المحتمل أن يعاملها قانون الذكاء الاصطناعي على أنها "مخاطر عالية". لهذا السبب، يرغب بعض المنظمين على الأقل في إخضاع مطوري أنظمة الذكاء الاصطناعي للأغراض العامة لنفس المتطلبات القانونية التي يخضع لها مطورو أنظمة الذكاء الاصطناعي عالية المخاطر. يفكر الاتحاد الأوروبي أيضًا في مناهج أكثر اعتدالًا للتنظيم، ولكن حتى هذه الأساليب ستفرض مسؤولية أكبر بكثير على مطوري النماذج اللغوية مما هو موجود في الولايات المتحدة ومن المرجح أن يبطئ التطور التكنولوجي الأوروبي.

في الصين، توجد أوجه غموض تنظيمية مماثلة. مقارنةً بالاتحاد الأوروبي، أشارت المزيد من الشركات الصينية صراحةً إلى رغبتها في تطوير منافسي ChatGPT، حيث كشفت Baidu النقاب عن منتج منافس في 16 آذار / مارس (المعروف باسم Ernie Bot)، وأعلنت Tencent عن خطط للقيام بذلك. لكن اللوائح الصينية الجديدة التي تم سنها في أوائل عام 2023 تحظر ما يسمى بـ "مزودي خدمة التوليف العميق"، بما في ذلك مزودي نماذج اللغة، من "إنتاج []، أو إعادة إنتاج، أو نشر، أو نقل [تينغ] معلومات إخبارية مزيفة". على الرغم من أن شركات التكنولوجيا الصينية لديها مجال تنافسي واضح نسبيًا بسبب الإجراءات الصارمة المفروضة على الوصول إلى ChatGPT ونماذج اللغة الغربية الأخرى، فإن صعوبة نماذج التدريب التي تتوافق بوضوح مع هذه اللوائح، قد تثنيهم عن النشر السريع لنماذج اللغة الخاصة بهم.

ومع ذلك، ليس من الواضح ما إذا كانت هذه التدابير ستكون فعالة. بينما تحسنت النماذج اللغوية بسبب الزيادة في قوة الحوسبة، فإنها لا تستطيع الاستمرار في القيام بذلك بالمعدل الحالي. هذا، جزئيًا، بسبب القيود المالية للاستمرار في توسيع نطاق النماذج ولأن تدريب نماذج أكبر بكثير يتطلب أشباه موصلات متقدمة بسرعات ربط غير ممكنة حاليًا. يسعى الباحثون بنشاط إلى تطوير أساليب حسابية أكثر كفاءة لتدريب نماذج مماثلة. قد تحفز محاولات بلد ما لتقييد القوة الحاسوبية لدولة أخرى كوسيلة للتنافس على تطوير الذكاء الاصطناعي الدولة المستهدفة على تطوير حواف تنافسية في مناهج الذكاء الاصطناعي الأكثر كفاءة من الناحية الحسابية. بالإضافة إلى ذلك، لا يوجد سوى الكثير من النصوص "عالية الجودة" على الإنترنت (على سبيل المثال، الكتب ومقالات المجلات الأكاديمية)، والتي قد تصبح قريبًا قيدًا أكثر إلحاحًا على تطوير نماذج اللغة من توفر قوة الحوسبة. وأخيرًا، في حين أن تدريب النماذج اللغوية من البداية أمر مكلف حسابيًا، إلا أنه ليس من المكلف تقريبًا ضبط النماذج الحالية، والتي يمكن أن تكون في كثير من الحالات فعالة بنفس القدر في أداء مهام محددة مثل توليد معلومات مضللة.

قد تنظر البلدان أيضًا بشكل متزايد إلى تطوير النماذج اللغوية على أنها نقطة فخر وطني، وهو تصور يمكن أن يؤدي إلى تفاقم محاولات التنافس على تنميتها. أصدرت لجنة خبراء رفيعة المستوى عقدتها حكومة المملكة المتحدة تقريرًا في 6 آذار / مارس 2023 تفيد بأن الدولة "متأخرة" كمكان للابتكار الحسابي - احتلت المرتبة العاشرة في العالم في عام 2022 من حيث قوة الحوسبة الوطنية، بانخفاض عن الثالثة في عام 2005 - ودعت إلى اقتناء ما لا يقل عن 3000 مسرّع أجهزة متقدم "في المدى القريب"، لاستخدامها في أبحاث الذكاء الاصطناعي.

الآفاق

من غير المرجح أن تقوم البلدان المهتمة باستخدام الذكاء الاصطناعي لأغراض الدعاية المحلية أو الدولية بتدريب النماذج من الصفر؛ لا تمتلك معظم الحكومات الوطنية حاليًا الخبرة الفنية لتدريب النماذج اللغوية المتطورة، وحتى لو فعلوا ذلك، فإن تدريب أحدهم قد يكلف ملايين الدولارات الأمريكية، ومن المرجح أن يوفر فقط تحسينًا هامشيًا للجودة مقارنة بنموذج عام دقيق. حتى في اختيار النماذج العامة لاستخدامها، قد تفضل أقسام الدعاية النماذج متوسطة الحجم وسهلة الاستخدام، على البدائل الأكبر والأكثر قدرة. الانتخابات الوطنية التي ستجرى في عام 2024، بما في ذلك في تايوان والولايات المتحدة وربما المملكة المتحدة، قد تكون بمثابة مؤشرات مبكرة لكيفية تأثير النماذج اللغوية الكبيرة على الحملات السياسية، كأدوات تستخدمها الحملات نفسها ومن قبل الجهات الفاعلة المحلية والدولية التي تحاول للتأثير على النتائج.

أعرب بعض المعلقين عن قلقهم من أن نماذج اللغة الحالية تمثل مجموعة محددة من القيم، وهو القلق الذي أدى إلى قيام OpenAI بالإشارة إلى الخطط للسماح للمستخدمين بتخصيص سلوك ChatGPT بناءً على قيمهم الخاصة. هناك قلق مشابه بين المحللين الأمنيين وهو أن الحكومات الاستبدادية قد تنتج نماذج لغوية تهدف عمدا إلى التأثير على الرأي العام لصالح الحكومة. ومع ذلك، حتى الآن، بينما جربت بعض الحكومات قيودًا عالية المستوى على نواتج الخوارزميات، فإنها لم تظهر القدرة التقنية ولا النية لتدريب نماذجها البديلة أو إشراك نفسها بجدية في تدريب النماذج الصناعية. قد يواجه ناشرو النماذج اللغوية - وفي الصين، حاليًا - متطلبات الرقابة على أنواع معينة من المخرجات، لكنهم لا يواجهون حاليًا متطلبات لتضمين التحيزات المؤيدة للنظام بشكل منهجي في نماذجهم.

ستقيد ضوابط التصدير لإدارة بايدن في أكتوبر 2022، على المدى القصير على الأقل، وصول الصين إلى الرقائق الأكثر تقدمًا المستخدمة في الحقول الفرعية الحاسوبية المكثفة للذكاء الاصطناعي. لذلك قد يتجه اهتمام البحث الصيني نحو الحقول الفرعية الأقل تطلبًا من الناحية الحسابية، حيث يطور الباحثون مزايا تنافسية جديدة. تعتمد ضوابط التصدير أيضًا على الاعتقاد بأن الوصول إلى أشباه الموصلات المتقدمة يمثل قيدًا أساسيًا على تطوير نموذج اللغة، لكن الاعتماد على نفقات حوسبة أكبر وأكبر لا يمكن أن يستمر في تحسين النماذج اللغوية بمعدلات النمو الحالية إلى أجل غير مسمى، حتى لو كان ذلك غير واضح متى ستبدأ هذه القيود بالضبط. وعلى الرغم من رغبة إدارة بايدن الواضحة في التنافس على تطوير نموذج اللغة، فإن عدم اليقين التنظيمي في كل من الاتحاد الأوروبي والصين يقيد بالفعل وتيرة التغيير التكنولوجي. ومع ذلك، نظرًا لوضع النماذج اللغوية بالقرب من مركز المنافسة التكنولوجية الوطنية، فقد تستجيب الحكومات بقطع أكثر حدة وصول المواطنين إلى النماذج اللغوية التي طورتها الدول المنافسة، وبالتالي زيادة بلقنة الإنترنت.