في خطوة جديدة نحو دخول عالم الذكاء الاصطناعي، أعلنت شاومي عن إطلاق أول نموذج لغوي ضخم خاص بها تحت اسم MiMo-7B، وهو نظام مفتوح المصدر يركز بشكل أساسي على مهام التفكير المنطقي والرياضي، وقد أظهر أداءً متفوقًا على نماذج منافسة من شركات كبرى مثل OpenAI وAlibaba.
ما هو MiMo-7B؟
MiMo-7B هو نموذج لغوي ضخم مكوّن من 7 مليارات معامل (Parameters)، تم تطويره بواسطة فريق “Big Model Core Team” الذي شكّلته شاومي حديثًا. على الرغم من أن عدد المعاملات أقل بكثير من النماذج الرائدة في السوق، إلا أن شاومي تقول إن MiMo-7B يقدم أداءً مماثلًا أو أفضل في بعض الحالات، خاصةً في الاستدلال الرياضي وتوليد الأكواد البرمجية.
تفوق في اختبارات التفكير والمنطق
- في اختبارات الرياضيات مثل AIME 24-25، سجل MiMo-7B-RL نسبة دقة بلغت 95.8%.
- في تحديات البرمجة مثل LiveCodeBench v5، حقق النموذج نتيجة 57.8%.
- كما حصل على نتائج جيدة في اختبارات عامة مثل DROP وMMLU-Pro وGPQA.
هذه الأرقام، رغم أنها ليست ثورية بالكامل، إلا أنها مبهرة بالنسبة لنموذج بحجم 7B فقط.
بنية تدريب متقدمة وأداء أسرع
شاومي اعتمدت على مجموعة بيانات ضخمة تضم 200 مليار وحدة استدلالية، وتم تغذية النموذج بإجمالي 25 تريليون وحدة خلال ثلاث مراحل تدريب. استخدمت الشركة أسلوب توقع متعدد الرموز (Multiple-Token Prediction) بدلًا من التنبؤ برمز واحد فقط، مما ساعد على تسريع زمن الاستجابة دون التأثير على الجودة.
ولتحسين استقرار التدريب، طورت شاومي تقنيات جديدة منها:
- خوارزمية Test Difficulty Driven Reward لتحسين أداء التعليم المعزز.
- طريقة Easy Data Re-Sampling لضبط توزيع البيانات خلال التدريب.
- نظام Seamless Rollout لتقليل فترات توقف وحدات معالجة الرسوميات (GPU) وتسريع التدريب بنسبة 2.29× وتحسين الأداء بنسبة تقارب 2× أثناء التحقق.
متاح الآن كمصدر مفتوح على Hugging Face وGitHub
MiMo-7B متاح الآن للتحميل المجاني كمصدر مفتوح، مع أربع نسخ مختلفة:
- Base – النموذج الأساسي بعد التدريب الأولي
- SFT – نسخة مدربة بالإشراف
- RL-Zero – نسخة معززة بالتعليم العميق بدءًا من النموذج الأساسي
- RL – النسخة الأكثر تطورًا ودقة مبنية على نسخة SFT
جميع النسخ متاحة عبر منصة Hugging Face، مع الوثائق والنقاط المرجعية على GitHub.
ابدأ المناقشة في forum.mjbtechtips.com