في مجال الذكاء الاصطناعي ، لطالما كان حجم وكفاءة النماذج من الاعتبارات المهمة. كشفت Microsoft Research النقاب عن نموذج الذكاء الاصطناعي الجديد المسمى BitNet ، والذي تم تصميمه بأقل الأوزان ويحقق أداء مثيرا للإعجاب على الأجهزة خفيفة الوزن.
بيتنت b4.0 0B0T، والذي يعرف باسم أكبر "نموذج شبكة عصبية 1 بت" في الوقت الحاضر ، يمكنلا يعتمد على وحدة معالجة الرسومات ، يعمل فقط على وحدة المعالجة المركزية، حتى شريحة M2 من Apple يمكن تنفيذها. هذا النموذج موجود بالفعلتوزيع مفتوح المصدر بموجب ترخيص معهد ماساتشوستس للتكنولوجيا، مما يعني أنه يمكن للمطورين والباحثين استخدامه وتحسينه بحرية.
ما يسمى ب "BitNet" عبارة عن بنية نموذج الذكاء الاصطناعي المضغوطة للغاية التي اقترحتها Microsoft ، والتي تحدد "قيمة الوزن" للشبكة العصبية إلى أقصى حد وتحتفظ بها فقط-1、0、0ثلاثة احتمالات. يمكن لهذا النهج:تقليل استهلاك الذاكرة والطاقة المطلوبة للحوسبة بشكل كبير، خاصة بالنسبة للأجهزة المنخفضة الجودة وأجهزة الكمبيوتر المحمولة وحتى الهواتف المحمولة.
يحتوي BitNet b4.0 0B0T على20亿个参数، بما يعادل حجم نماذج اللغة خفيفة الوزن السائدة ، وتستخدم بما يتجاوز4 تريليون رمز的语料(约当3300万本书)进行训练。根据微软研究人员的测试结果,BitNet在多项标准基准测试中表现优异,包括:
جي إس إم8 كالتفكير المنطقي لمشاكل الرياضيات في المرحلة الابتدائية:
بيقامهارات التفكير البدني المنطقي
أدائها أفضل من أداء أقرانها ، مثل:
ميتااتصل 1.0 0 ب
جوجلجيما 1 0 ب
علي باباكوين 5.0 0.0 ب
تشير الدراسة إلى أن BitNet b58.0 لا يتمتع فقط بمعدل دقة يمكن مقارنته بمعدل النماذج السائدة ، ولكنه أيضا يمكن مقارنته بالنماذج السائدة.يكون التفكير أسرع مرتين في بعض المهام، ويتم تقليل الذاكرة المطلوبة بشكل كبير ، مما يجعلها جذابة للأجهزة ذات الموارد المحدودة.
ومع ذلك ، فإن التشغيل الفعال ل BitNet يعتمد على إطار عمل الاستدلال الخاص ب Microsoftbitnet.cpp، حاليا هذا الإطاريتم دعم بنى وحدة المعالجة المركزية المحددة فقطأجهزة GPU السائدة غير مدعومة. يعد هذا قيدا كبيرا على النظام البيئي الحالي لحوسبة الذكاء الاصطناعي الذي تهيمن عليه وحدة معالجة الرسومات.
بشكل عام ، يوضح Microsoft BitNet إمكانات نماذج التكميم منخفضة البت ، خاصة للأجهزة المتطورة أو أجهزة الكمبيوتر المحمولة أو البيئات التي لا تحتوي على وحدات معالجة رسومات. ومع ذلك ، لا تزال هناك تحديات من حيث التوافق والتعميم لسلسلة الأدوات ، ولا يزال يتعين التحقق مما إذا كان يمكن استخدامها على نطاق واسع.