يستخدم اتصال MIPI المتوافق مع معايير الصناعة: D-PHY وMIPI CSI-2 لواجهة FPGA وأداة Altera’s FPGA AI لتطوير الكاميرا الذكية لتطوير رؤية الحافة من الزجاج إلى الزجاج للكاميرات الذكية، مع تداخل 4K AI في الوقت الفعلي.
تدعم واجهة MIPI ما يصل إلى 2.5 جيجابت في الثانية لكل ممر وما يصل إلى 8 ممرات لكل واجهة MIPI لاستقبال البيانات بشكل سلس من مستشعرات الصور المتعددة بدقة 4K إلى نسيج FPGA لمزيد من المعالجة.
يقوم كل MIPI CSI-2 IP بتحويل بيانات البكسل إلى مخرجات AXI4-Streaming، للاتصال بمراكز IP الأخرى ضمن مجموعة أدوات معالجة الفيديو والرؤية (VVP) من Altera.
ألتيرامجموعة FPGA AI الخاصة بـ FPGA قابلة للتكوين ويمكن تحسينها لتشغيل نماذج Ultralytics YOLOv8 nano للكشف والاستدلال الموضعي (في الصورة) لاستخدام الكاميرا الذكية.
يشتمل الجهاز على محول فيديو متعدد أجهزة الاستشعار يغذي النظام الفرعي لمعالجة إشارة الصورة (ISP). ISP عبارة عن خط أنابيب لمعالجة الفيديو يتضمن العديد من مراكز VVP IP مما يسمح بمعالجة بيانات صورة المستشعر الأولية إلى بيانات فيديو RGB. تعمل الواجهة الخلفية لخط أنابيب ISP على تغذية خط أنابيب AI الذي يتكون من مراكز VVP IP لتخزين الفيديو مؤقتًا وتنسيقه وتوسيع نطاقه المناسب لمعالجة الذكاء الاصطناعي. تعمل الواجهة الخلفية لخط أنابيب الذكاء الاصطناعي على تشغيل بيانات إخراج الفيديو المتدفقة بدقة 4Kp30 (كاملة مع تراكب استدلال الذكاء الاصطناعي) من خلال Altera DisplayPort IP.
تعتمد حزمة البرامج على Linux وتعمل على HPS. يقوم البرنامج بتشغيل نماذج YOLOv8 nano المجمعة من بطاقة microSD. يشير Altera إلى أن المستخدم النهائي يجب أن يقوم بترخيص النماذج وتنزيلها مباشرة من Ultralytics.
تتكون حزمة البرامج من برنامج تطبيقي ثنائي يعمل على نظام التشغيل Linux مع طبقات مختلفة من برامج التشغيل. يقوم الجزء الخلفي من البرنامج التطبيقي باستجواب الأجهزة، ويكتشف مكونات IP ديناميكيًا ويقوم بتكوينها. يقوم جزء استدلال الذكاء الاصطناعي في برنامج التطبيق بجدولة طلبات الاستدلال إلى FPGA AI Suite IP الخاص بـ Altera، ومعالجة نتائج الاستدلال. يتم عرض النتائج كرسومات في مخزن مؤقت للإطار، والذي يقوم الجهاز بتراكبه على دفق الفيديو. هناك العديد من حلقات التغذية الراجعة، بما في ذلك توازن اللون الأبيض التلقائي، والتعرض التلقائي، وخوارزميات تقليل الضوضاء التكيفية، ويتم تنفيذها جميعها في الوقت الفعلي. تقوم الواجهة الأمامية للبرنامج بإنشاء واجهة مستخدم رسومية على شبكة الإنترنت وتشغيلها عبر خادم ويب.
التصميم متوافق مع إصدار Altera Quartus Prime Pro الإصدار 25.1 Linux.
