أصدرت Baidu سلسلة Ernie 4.5 من نماذج الذكاء الاصطناعي (AI) في مفتوحة المصدر يوم الاثنين. كان عملاق التكنولوجيا الصيني قد قال سابقًا إنه سيجعل نماذج اللغة الكبيرة الخاصة بها (LLMS) متاحة للمجتمع المفتوح في 31 يوليو. وقد أصدرت الآن 10 متغيرات مختلفة من السلسلة ، مع كل من النماذج المبنية على بنية خليط الخبرة (MOE). إلى جانب النماذج ، أصدرت الشركة أيضًا مجموعات أدوات لتطوير البرامج المتعددة لـ Ernie 4.5 في المصدر المفتوح.
تصدر Baidu 10 متغيرات من نماذج Ernie 4.5 AI في المصدر المفتوح
في بريد على X (المعروف سابقًا باسم Twitter) ، أعلنت عملاق التكنولوجيا الصينية عن إصدار طرازات Ernie 4.5 AI 10 مفتوحة المصدر. أربعة منها هي نماذج متعددة الوسائط ذات اللون الرؤية ، وثمانية نماذج MOE ، واثنان من الطرز أو النماذج المنطقية. بالإضافة إلى ذلك ، تتضمن القائمة أيضًا خمسة نماذج بعد التدريب ، بينما يتم تدريب البعض الآخر مسبقًا. يمكن الآن تنزيل هذه النماذج من وجه الشركة المعانقة قائمة أو من github قائمة.
في منشور المدونةوقال بايدو إن نماذج MOE تتميز بما مجموعه 47 مليار معلمة ، مع وجود ثلاثة مليارات منها نشطة في وقت واحد. أكبر النماذج من بين 10 متغيرات تتميز 424 مليار معلمة. يتم تدريب جميعهم باستخدام إطار التعلم العميق PaddlePaddle.
استنادًا إلى الاختبار الداخلي ، ادعت الشركة نموذج ERNIE-4.5-300B-A47B-base يتجاوز Deepseek-V3-671B-A37B على 22 من 28 معايير. وبالمثل ، ادعت أن ERNIE-4.5-21B-A3B-Base يتفوق على QWEN3-30B-A3B-base على العديد من الرياضيات ومعايير التفكير على الرغم من وجود معلمات أقل بنسبة 30 في المائة.
كشفت Baidu أيضًا عن أساليب التدريب على الصفحات النموذجية. استخدمت الشركة بنية MOE غير المتجانسة في عملية ما قبل التدريب وتوسيع نطاق النماذج باستخدام تقنيات مثل التوازي الخبراء داخل العقدة ، وجدولة خطوط الأنابيب الموفرة للذاكرة ، وتدريب FP8 مختلط الدقة ، وطريقة إعادة التثبيت الدقيقة.
بصرف النظر عن النماذج ، قام Baidu أيضًا بإتاحة Erniekit للمجتمع المفتوح. إنها مجموعة أدوات تطوير لنماذج سلسلة Ernie 4.5. مع هذا ، يمكن للمطورين أداء التدريب المسبق ، والضوء الخاضع للإشراف (SFT) ، والتكيف منخفض الرتبة (LORA) ، وغيرها من تقنيات التخصيص. والجدير بالذكر أن جميع النماذج متوفرة بموجب ترخيص Apache 2.0 المسموح به ، والذي يسمح بالاستخدام الأكاديمي والتجاري.
