نظام تعليمي للأطفال يتعرف عبر الكاميرا على الحيوانات بـ YOLO11 والألوان بـ HSV والأرقام بـ OCR، ويعرض النتيجة وينطقها بصوت عربي مسجل.
مشروع أكاديمي نفذه فريق من الطلاب بمساعدة فنية وتقنية من مكتب تكنو إنجاز لبناء نظام تعليمي تفاعلي للأطفال يتعرف عبر كاميرا الحاسوب على الحيوانات والألوان والأرقام، ثم يعرض النتيجة على الشاشة ويشغّل ملفًا صوتيًا عربيًا ينطق اسمها. يعتمد النظام على YOLO11 لكشف الحيوانات، وفضاء الألوان HSV لتحديد اللون، وتقنية OCR لقراءة الأرقام، ضمن واجهة رسومية مبنية بـ Tkinter ولغة Python.
يوثق المشروع نتائج تقنية مفصلة لكل وظيفة: سجلت نماذج كشف الحيوانات قيم mAP50 بين 0.856 و0.992 بحسب الفئة، وقرأ النظام 7 من 10 أرقام قراءة صحيحة في اختبار مباشر، بينما تبقى قراءة الألوان مرتبطة بظروف الإضاءة والكاميرا. ولا يتضمن المشروع دراسة تربوية تقيس أثره على تعلم الأطفال.
| العنصر | البيانات |
|---|---|
| نوع المشروع | نظام تعليمي تفاعلي / نموذج أولي |
| المجال | الذكاء الاصطناعي، الرؤية الحاسوبية، تقنيات التعليم المبكر |
| حالة المشروع | نموذج أكاديمي منفذ ومختبر على حاسوب محمول |
| دور تكنو إنجاز | دعم ومساعدة تقنية للطلاب أثناء تطوير المشروع |
| تقنيات أساسية | Python، OpenCV، NumPy، YOLO11، OCR (EasyOCR)، HSV، Tkinter، Playsound |
| المدخلات | كاميرا الحاسوب المدمجة |
| المخرجات | اسم الحيوان أو اللون أو الرقم على الشاشة، مع نطق صوتي عربي مسجل مسبقًا |
يقوم النظام على مبدأ التفاعل الحي: يعرض الطفل أمام الكاميرا حيوانًا أو جسمًا ملونًا أو رقمًا، فيتعرف عليه البرنامج تلقائيًا وينطق اسمه بصوت واضح. يهدف هذا الربط المباشر بين الصورة والصوت إلى تعزيز الفهم البصري واللغوي لدى الطفل بأسلوب قريب من التعلم الحسي في الطفولة المبكرة.
وصُمم النظام ليكون بسيطًا بما يكفي ليستخدمه الطفل دون إشراف دائم، مع محتوى صوتي باللغة العربية لتنمية النطق، وواجهة تراعي طبيعة الطفل من حيث الألوان وحجم العناصر وسهولة التفاعل.
نُفذ المشروع بواسطة الطلاب ضمن إطار أكاديمي، مع مساعدة فنية وتقنية من مكتب تكنو إنجاز خلال تطوير النموذج وتجربة مكوناته. شملت مساهمة المكتب دعم العمل الفني وتوجيه عملية تطوير الحل بصورة تساعد على تحويل الفكرة إلى نموذج قابل للتجربة، مع بقاء التنفيذ الأكاديمي للمشروع من مسؤولية الطلاب.
يعكس المشروع خبرة عملية في التعامل مع تطبيقات الرؤية الحاسوبية، وربط نماذج الذكاء الاصطناعي بواجهات استخدام وتدفقات معالجة صور قابلة للاختبار.
| المكون | الدور |
|---|---|
| حاسوب محمول | الكاميرا المدمجة لالتقاط الصور الحية، ومكبر الصوت الداخلي لتشغيل النطق، دون أجهزة إضافية |
| Python | لغة تطوير التطبيق وربط مكوناته |
| OpenCV | التقاط الإطارات ومعالجتها وتحويلها إلى فضاء HSV وتحسين الصور قبل التحليل |
| NumPy | العمليات الحسابية على مصفوفات الصور |
| YOLO11 | كشف الحيوانات داخل الصورة وتصنيفها |
| OCR (EasyOCR) | استخراج الرقم الظاهر أمام الكاميرا كنص |
| Tkinter | الواجهة الرسومية والتنقل بين الأنشطة |
| Playsound | تشغيل الملف الصوتي المسجل المرتبط بالنتيجة تلقائيًا |
يمر كل نشاط بمسار معالجة واضح:
دُرّبت نماذج YOLO11 على بيانات مخصصة لكشف الحيوانات، وقُيّم كل نموذج على حدة بمقاييس Precision وRecall وmAP وF1، مع قياس سرعة كل مرحلة معالجة.
| النموذج | mAP50 | mAP50-95 | أفضل F1 (عند عتبة ثقة) | زمن الاستدلال |
|---|---|---|---|---|
| العُقاب | 0.956 | 0.824 | 0.92 (0.409) | 18.8 ms |
| القطط | 0.992 | 0.784 | 0.98 (0.591) | 28.4 ms |
| الأسماك | 0.856 | 0.551 | 0.81 (0.449) | 21.2 ms |
تعرض هذه القيم أداء نماذج الكشف ضمن اختبارات المشروع، ولا تمثل نسبة موحدة لدقة النظام التعليمي كاملًا. كما يرتبط زمن الاستدلال ببيئة التشغيل المستخدمة في الاختبار.
تقرأ وظيفة الألوان قيمة اللون في نقطة وسط الشاشة، وتحولها إلى فضاء HSV، ثم تحدد اسم اللون بمقارنته بعتبات محددة لكل لون، ويُعرض الاسم ويُشغَّل صوته.
اختُبرت الوظيفة يدويًا بعرض عشرة ألوان أمام الكاميرا: الأحمر والأخضر والأزرق والأصفر والبرتقالي والبني والأبيض والأسود والبنفسجي والزهري، ومقارنة الاسم الناتج باللون الحقيقي. ولا يعرض التقرير نسبة دقة نهائية لهذا الاختبار؛ إذ ورد مثال حسابي توضيحي فقط لطريقة حساب الدقة. وحدد المشروع العوامل المؤثرة في قراءة اللون: الإضاءة، ونوع الكاميرا، والظلال والانعكاسات، وتشابه بعض الألوان مثل البرتقالي والبني، والمسافة بين العنصر والكاميرا.
تستخدم وظيفة الأرقام تقنية التعرف البصري على المحارف OCR لاستخراج الرقم الظاهر أمام الكاميرا وتحويله إلى قيمة نصية، ثم عرض الرقم وتشغيل الصوت المرتبط به.
| الرقم المعروض | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| قراءة OCR | 1 | 2 | 3 | 4 | S | 6 | 7 | B | 9 | 1O |
في هذا الاختبار المباشر قُرئت 7 من 10 عينات قراءة صحيحة (70%). وجاءت الأخطاء في الأشكال المتقاربة بصريًا: الرقم 5 قُرئ حرف S، والرقم 8 قُرئ B، والرقم 10 قُرئ بحرف O بدل الصفر.
ويعرض التقرير أيضًا تقييمًا منفصلًا لأداء EasyOCR في كشف الأرقام: Accuracy بلغت 87.4%، وPrecision بقيمة 0.89، وRecall بقيمة 0.83، وF1 بقيمة 0.86، مع 45 إيجابية خاطئة و81 سلبية خاطئة. ونظرًا لاختلاف سياق هذا التقييم عن اختبار الأرقام العشرة، تُعرض النتيجتان منفصلتين ولا تُدمجان في قيمة دقة واحدة.
واقترح المشروع حلولًا لتحسين القراءة: إضاءة موزعة دون ظلال، وزيادة التباين بين الرقم والخلفية، واستخدام خطوط واضحة مثل Arial أو OCR-B، وتكبير الرقم في الإطار، وضبط زاوية الكاميرا، وتصحيح الأخطاء الشائعة برمجيًا مثل تحويل O إلى 0 وB إلى 8.
حدد المشروع عدة مسارات يمكن دراستها في إصدارات لاحقة:
تمثل هذه العناصر مقترحات مستقبلية وليست وظائف ضمن النسخة الحالية.
يستخدم النظام كاميرا موجهة إلى الطفل وبيئته، لذلك يُفضَّل في أي استخدام فعلي أن تبقى المعالجة محلية على الجهاز، ودون حفظ صور الأطفال إلا بموافقة الأهل وضمن ضوابط واضحة.
إذا كنت تعمل على تطبيق تعليمي تفاعلي يعتمد على الرؤية الحاسوبية وتحتاج إلى مساعدة تقنية في تطوير الفكرة أو بناء نموذج أولي، يمكن التواصل مع مكتب تكنو إنجاز لمناقشة متطلبات المشروع ونطاق الدعم المناسب.
يقدم النظام ثلاث وظائف: التعرف على الحيوانات، والتعرف على الألوان، والتعرف على الأرقام من خلال كاميرا الحاسوب. تجمعها واجهة رسومية واحدة مبنية بـ Tkinter، ويعرض النظام النتيجة على الشاشة ثم يشغّل ملفًا صوتيًا عربيًا مسجلًا ينطقها. نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز.
تلتقط الكاميرا الإطار ويخضع لمعالجة مسبقة عبر OpenCV، ثم يُمرَّر إلى نموذج YOLO11 لكشف الحيوانات، أو يُحوَّل إلى فضاء HSV ويُقارن بعتبات كل لون، أو يُقرأ بتقنية OCR لاستخراج الرقم. بعدها يُعرض اسم العنصر وتشغّل مكتبة Playsound الملف الصوتي المطابق تلقائيًا.
سجّل نموذج العُقاب mAP50 بقيمة 0.956 وF1 بقيمة 0.92، ونموذج القطط mAP50 بقيمة 0.992 وF1 بقيمة 0.98، ونموذج الأسماك mAP50 بقيمة 0.856 وF1 بقيمة 0.81، مع أزمنة استدلال 18.8 و28.4 و21.2 ms على الترتيب. وتعكس هذه القيم أداء نماذج الكشف ضمن اختبارات المشروع، لا دقة موحدة للنظام كاملًا.
في اختبار مباشر للأرقام من 1 إلى 10 قُرئت 7 عينات قراءة صحيحة، مع أخطاء مثل قراءة 5 على أنه S و8 على أنه B، كما يعرض التقرير تقييمًا منفصلًا لـ EasyOCR بدقة 87.4%. أما الألوان فاختُبرت يدويًا بعشرة ألوان دون نسبة دقة نهائية في التقرير، وتتأثر بالإضاءة والظلال ونوع الكاميرا.
لا، فالمواد المتاحة لا تتضمن دراسة تربوية تقيس تحسن التحصيل أو أثر النظام على تعلم الأطفال، وتقتصر النتائج على الأداء التقني والتجارب البرمجية الموثقة. وتبقى إضافات مثل التعرف على الصوت ودعم لغات متعددة والتعلم التكيفي والواقع المعزز مقترحات مستقبلية.
تواصل مع فريق تكنو إنجاز لمناقشة قابلية التنفيذ العملي، اختيار القطع، وتطوير النموذج الأولي.
نماذج تطبيقية ومنظومات برمجية وهندسية منجزة بدعم المكتب
نظام رؤية حاسوبية يكشف السكين والمسدس لحظيًا من كاميرا الحاسوب أو الهاتف بنموذجي YOLOv8 مدربين، ويحدد موقع السلاح بإطار داخل الصورة باستخدام Python وOpenCV.
نظام تعليمي تفاعلي للأطفال يتعرف على الأشياء عبر الكاميرا بخوارزمية YOLOv8 وينطق أسماءها، ويحدد الألوان بنموذج HSV، ويتعرف على محتوى الصور المحمّلة.
نظام أمني لمحال الذهب يكشف الأسلحة بـYOLO والعنف بشبكة RNN والاختلاس بـMediaPipe، مع حساسي حركة ولهب على NodeMCU وتنبيهات فورية عبر Telegram.
