“بايت دانس” تتمكن من تعزيز كفاءة تدريب نماذج الذكاء الاصطناعي بـ 1.7 مرة

العربية
قالت شركة بايت دانس الصينية، مالكة “تيك توك”، إنها حققت تحسنًا في كفاءة تدريب نموذج اللغة الكبيرة بمقدار 1.71 مرة، وهي أحدث شركة تقنية صينية تحقق اختراقًا يمكن أن يقلل الطلب على وحدات معالجة الرسومات عالية الجودة من شركة إنفيديا.

وقال فريق تطوير روبوت الدردشة “Doubao” التابع للشركة إنهم تمكنوا من “تسريع” كفاءة تدريب النموذج بمقدار “1.71 مرة” من خلال ” COMET”، وهو نظام “مزيج الخبراء” (MoE) مُحسن، وفقًا لورقة بحثية حديثة نُشرت على “arXiv”، وهو منتدى عبر الإنترنت للمحترفين في المجتمع العلمي.

و”مزيج الخبراء” هو تقنية تعلُّم آلي حيث تُستخدم شبكات خبراء متعددة لتقسيم مساحة المشكلة إلى أقسام متجانسة، بحسب تقرير لصحيفة “ساوق تشاينا مورنينغ”.

تم تبني هذه التقنية بشكل واسع لتوسيع النماذج اللغوية الكبيرة إلى تريليونات من المعلمات، مع الحفاظ على تكلفة الحوسبة ثابتة. وقد تم اعتمادها بشكل واسع من قبل نماذج الذكاء الاصطناعي الرائدة مثل “غروك” و”ديب سيك”.

وبالفعل اعتمدت “بايت دانس” على هذه التقنية في بيئة الإنتاج بالشركة التي تستخدم أكثر من 10,000 وحدة معالجة رسومية، مما أدى إلى توفير ملايين الساعات من عمل وحدات معالجة الرسوميات، وفقًا للفريق القائم على “Doubao”.

يمكن أن تؤدي التقدم في خفض تكلفة تدريب نماذج الذكاء الاصطناعي إلى انخفاض الطلب على الرقائق من “إنفيديا”، التي تخضع وحدات معالجة الرسوميات عالية الأداء الخاصة بها لضوابط تصدير صارمة من قبل الولايات المتحدة.

وعلى الرغم من تبني تقنية “مزيج الخبراء” بشكل واسع من قبل الشركات التكنولوجية الكبرى، فإنها تؤدي إلى ما يُسمى بـ “تداخل الاتصال مع الحسابات”، مما “يؤدي إلى تدهور ملحوظ في كفاءة الحوسبة”، وفقًا لعلماء “بايت دانس”.