تقنية Infini-attention: ثورة جديدة للتعامل مع النصوص بلا حدود

في خطوة جديدة نحو تطوير النماذج اللغوية الضخمة (LLMs)، قدم باحثون في Google تقنية جديدة يُطلق عليها “الانتباه اللامحدود” (Infini-attention)، وهي تعدّ إنجازاً بارزاً يتيح للنماذج التعامل مع نصوص ذات طول غير محدود، دون الحاجة إلى زيادة في الذاكرة أو الموارد الحاسوبية.

ما هو إطار النافذة السياقية؟

للتوضيح، “النافذة السياقية” هي الحد الأقصى لعدد الكلمات أو الرموز التي يمكن للنموذج اللغوي العمل عليها في آن واحد. على سبيل المثال، إذا تجاوزت المحادثة مع النموذج حدود هذه النافذة، فإن أداءه يبدأ في الانخفاض بشكل كبير حيث يبدأ في تجاهل الأجزاء الأولى من المحادثة.

مع تزايد الاعتماد على النماذج اللغوية الضخمة في تطبيقات متنوعة، بدأت المنظمات في تخصيص هذه النماذج من خلال إدخال وثائق ومعارف مخصصة ضمن أسئلة النموذج. لذلك، أصبح زيادة طول النافذة السياقية من أبرز التحديات التي تسعى الشركات الرائدة لتجاوزها من أجل تحقيق تفوق على منافسيها.

تقنية Infini-attention: الحل السحري

تعمل تقنية Infini-attention على تحسين النماذج اللغوية بشكل يتيح لها التعامل مع النصوص الطويلة جدًا، حيث أظهرت التجارب التي أجرتها Google أن النماذج التي تعتمد على هذه التقنية يمكن أن تحافظ على أدائها عالي الجودة حتى مع مليون رمز (token) دون الحاجة إلى زيادة في الذاكرة.

 

كيف تعمل Infini-attention؟

تعتمد النماذج اللغوية الضخمة عادةً على معمارية “المحوِّل” (Transformer) والتي تمتاز بتعقيد رياضي يتزايد مع زيادة حجم المدخلات. فمثلاً، إذا تضاعف حجم النص من 1000 إلى 2000 رمز، فإن الذاكرة والوقت المطلوبين لمعالجة النص لن يتضاعفا فقط، بل سيزدادان بشكلٍ رباعي.

تتخطى تقنية Infini-attention هذا التحدي من خلال إدخال وحدة “الذاكرة المضغوطة” (compressive memory). عند تجاوز طول المدخلات حدود النافذة السياقية، يقوم النموذج بتخزين حالات الانتباه القديمة في وحدة الذاكرة المضغوطة، مما يحافظ على عدد ثابت من المعلمات دون الحاجة إلى موارد إضافية.

الاختبارات والنتائج

أظهرت اختبارات Infini-attention نتائج مذهلة، حيث تفوق النموذج على غيره من النماذج اللغوية عند معالجة نصوص طويلة جدًا. على سبيل المثال، في اختبار استعادة الأرقام السرية (passkey retrieval)، تمكّن النموذج من استعادة رقم مخفي في نص يتألف من مليون رمز، متفوقًا على التقنيات الأخرى التي تعاملت مع نصوص تصل إلى 500,000 رمز فقط.

وعلى الرغم من أن Google لم تصدر النماذج أو الشفرات المصدرية بعد، إلا أن النتائج التي أبلغ عنها الباحثون تشبه ما تم الإبلاغ عنه حول أداء نموذج Gemini، الذي يُزعم أن لديه قدرة على معالجة سياقات تحتوي على ملايين الرموز.

تطبيقات النماذج اللغوية طويلة السياق

تعد النماذج اللغوية طويلة السياق مجالًا واعدًا للتطوير والتنافس بين شركات الذكاء الاصطناعي الرائدة. على سبيل المثال، يدعم نموذج Claude 3 من شركة Anthropic ما يصل إلى 200,000 رمز، بينما يدعم نموذج GPT-4 من OpenAI نافذة سياقية تصل إلى 128,000 رمز.

من الفوائد الرئيسية للنماذج اللغوية ذات السياقات اللامحدودة هو إتاحة المجال لإنشاء تطبيقات مخصصة بسهولة أكبر. في الوقت الحالي، يتطلب تخصيص النماذج لتطبيقات محددة تقنيات مثل التدريب المتقدم أو توليد المعلومات المعزز بالتخزين (RAG)، وهي تقنيات فعّالة لكنها تتطلب جهودًا هندسية معقدة. لكن مع Infini-attention، يمكن للمطورين إدخال كافة الوثائق المطلوبة في المدخلات والسماح للنموذج باختيار الأجزاء الأكثر صلة بالاستعلامات المقدمة، مما يقلل بشكل كبير من الحاجة إلى جهود هندسية معقدة.

ما الذي ينتظرنا؟

من المؤكد أن تقنية Infini-attention لن تلغي الحاجة إلى تقنيات التخصيص الأخرى، لكنها ستخفض الحواجز أمام دخول التطبيقات الجديدة، مما يسمح للمطورين والمنظمات بإنشاء نماذج أولية تعمل بسرعة دون الحاجة إلى هندسة معقدة. ومع ذلك، سيتعين على المنظمات تحسين خطوط الأنابيب الخاصة بالنماذج اللغوية بمرور الوقت لتقليل التكاليف وتحسين السرعة والدقة.

بفضل هذه التقنية الجديدة، يُتوقع أن نشهد قفزات نوعية في قدرات الذكاء الاصطناعي على معالجة النصوص طويلة المدى، مما يفتح آفاقاً واسعة لتطبيقات جديدة ومتطورة في مجالات عدة، بدءًا من الأبحاث الأكاديمية وصولاً إلى التطبيقات التجارية والاقتصادية.

الأسئلة الشائعة (FAQs) حول تقنية Infini-attention والنماذج اللغوية الضخمة:

ما هي تقنية Infini-attention؟

تقنية Infini-attention هي ابتكار من Google يسمح للنماذج اللغوية بالتعامل مع نصوص ذات طول غير محدود دون الحاجة إلى زيادة في الموارد الحاسوبية أو الذاكرة. يعتمد النظام على وحدة “الذاكرة المضغوطة” التي تخزن المعلومات القديمة بطريقة مضغوطة للحفاظ على أداء النموذج.

ما هو المقصود بالنافذة السياقية؟

النافذة السياقية هي الحد الأقصى لعدد الكلمات أو الرموز التي يمكن للنموذج اللغوي معالجتها في وقت واحد. إذا تجاوزت المدخلات هذا الحد، يبدأ النموذج في تجاهل أجزاء من النص مما يؤثر على الأداء.

كيف تتفوق Infini-attention على النماذج التقليدية؟

بخلاف النماذج التقليدية التي يزداد تعقيدها مع زيادة حجم المدخلات، تتيح Infini-attention للنماذج التعامل مع نصوص طويلة جدًا باستخدام وحدة ذاكرة مضغوطة، مما يحافظ على ثبات الموارد الحاسوبية مع زيادة طول النصوص.

هل تتوفر تقنية Infini-attention للاستخدام العام؟

حتى الآن، لم تُصدر Google الشفرة المصدرية أو النماذج الخاصة بتقنية Infini-attention. ومع ذلك، فإن النتائج التي أبلغ عنها الباحثون تشير إلى قدرات قوية لهذه التقنية.

ما هي التطبيقات المحتملة لتقنية Infini-attention؟

يمكن أن تستخدم تقنية Infini-attention في تطبيقات تتطلب معالجة نصوص طويلة مثل البحث الأكاديمي، التحليلات الكبيرة، والخدمات التجارية التي تعتمد على الذكاء الاصطناعي.