لوح ذكي يحوّل كاميرا الويب إلى مساحة كتابة ورسم في الهواء بإيماءات اليد عبر MediaPipe Hands وOpenCV، ويحل المعادلات المكتوبة يدويًا بخطواتها عبر Gemini.
اللوح الذكي نظام تفاعلي يحوّل كاميرا الويب العادية إلى أداة إدخال تتيح الكتابة والرسم في الهواء بإصبع اليد داخل مساحة عمل رقمية، دون قلم أو علامة ملونة أو أي عتاد إضافي. نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز، بلغة Python وباستخدام MediaPipe Hands لتتبع 21 نقطة مفصلية في اليد، وOpenCV لمعالجة الفيديو والواجهة.
يتعرف النظام على الإيماءات من عدد الأصابع المرفوعة والمسافات الهندسية بينها: السبابة للكتابة، وإصبعان لاختيار الألوان والأدوات، والإبهام لحفظ لقطة من اللوح. ويضيف بُعدًا تعليميًا بإرسال المعادلة الرياضية المكتوبة بخط اليد إلى Google Gemini API ليعيد الحل مع خطواته داخل الواجهة نفسها، ليكون بديلًا منخفض التكلفة للسبورات الذكية وأجهزة الرسم الرقمية، يعمل على أجهزة متوسطة المواصفات دون معالج رسوميات.
| العنصر | البيانات |
|---|---|
| نوع المشروع | نظام تفاعلي للكتابة والرسم في الهواء بإيماءات اليد |
| المجال | الرؤية الحاسوبية، التفاعل بين الإنسان والحاسوب، تتبع اليد، تقنيات التعليم |
| حالة المشروع | نموذج عامل اختُبر عمليًا على كاميرا ويب وحاسوب متوسط المواصفات |
| دور تكنو إنجاز | دعم ومساعدة تقنية للطلاب أثناء تطوير المشروع |
| تقنيات أساسية | Python، MediaPipe Hands، OpenCV، NumPy، PIL، threading، Google Gemini API |
| المخرجات | رسم وكتابة بالإصبع، اختيار الألوان، ممحاة ومسح كامل، حفظ لقطات، حل المعادلات المكتوبة يدويًا مع الخطوات |
تتجه واجهات التفاعل بين الإنسان والحاسوب نحو الحركة والإيماءات بدل وسائل الإدخال التقليدية، لكن الأدوات التعليمية التفاعلية المعروفة، مثل السبورات الذكية وأجهزة الرسم الرقمية، مرتفعة التكلفة ومحدودة الانتشار في البيئات التعليمية ذات الإمكانات المتوسطة، فضلًا عن القيود الحركية المرتبطة بها.
وراجع المشروع حلولًا سابقة ووجد لكل منها حدودًا: أنظمة Air Canvas التي تتتبع قلمًا ملونًا بتحويل الألوان من RGB إلى HSV حساسة للإضاءة وتحتاج أداة خارجية، وإطار MediaPipe Hands يوفر تتبعًا دقيقًا لكنه إطار للمطورين لا تطبيقًا تعليميًا متكاملًا، وتطبيقات الفأرة الافتراضية بالإيماءات تفتقر إلى استقرار المسار اللازم للكتابة، وأنظمة مستشعرات العمق مثل Kinect دقيقة لكنها تحتاج عتادًا مكلفًا. ومن هنا جاء اللوح الذكي ليجمع دقة تتبع اليد، واستقرار المسار للكتابة والرسم، ومنطقًا واضحًا لتفسير الإيماءات، بكاميرا عادية فقط.
نُفذ المشروع أكاديميًا بواسطة الطلاب، مع مساعدة ودعم تقني من مكتب تكنو إنجاز أثناء مراحل التطوير. ويُعرض ضمن أعمال المكتب مثالًا على دعمه للمشاريع التي تجمع بين الرؤية الحاسوبية والتفاعل بالإيماءات والذكاء الاصطناعي التوليدي في تطبيقات تعليمية.
| الإيماءة | الوظيفة |
|---|---|
| رفع السبابة فقط | وضع الكتابة والرسم على اللوح |
| رفع إصبعين | وضع الاختيار: يتوقف الرسم ويمكن اختيار الألوان أو الأدوات من الواجهة |
| رفع الإبهام فقط | أوامر خاصة مثل حفظ لقطة من محتوى اللوح |
تُميَّز الإيماءات بعدد الأصابع المرفوعة وبحساب المسافات بين رؤوس الأصابع، أو بينها وبين المعصم. وعند تشابه الإيماءات بسبب زاوية اليد أو تداخل الأصابع، أُضيفت شروط إضافية تقلل الانتقالات غير المقصودة بين الأوضاع. كما أن الإيماءات ليست ثابتة، إذ يمكن تعديلها أو استبدالها بتغيير الشروط البرمجية. وتشمل أدوات الواجهة تغيير لون الرسم، والممحاة (Eraser)، والمسح الكامل (Clear).
استُخدم Gemini محركًا مخصصًا لتحليل المعادلات المكتوبة يدويًا وحلها، لا مساعدًا نصيًا عامًا:
| المكتبة | دورها في النظام |
|---|---|
| OpenCV (cv2) | التقاط بث الكاميرا، عرض الإطارات، رسم الخطوط والأزرار والنصوص |
| MediaPipe | استخراج إحداثيات النقاط المفصلية لليد بنموذج جاهز مدرب مسبقًا |
| NumPy وmath | التعامل مع الصور كمصفوفات، قص أجزاء الشاشة، الحسابات الهندسية بين الإحداثيات |
| threading | تشغيل الاتصال بالنموذج في الخلفية دون إيقاف البث |
| requests وjson وbase64 | إرسال الطلبات إلى Gemini وتنظيم البيانات وترميز الصورة للإرسال |
| PIL وos وdotenv | عرض النصوص ذات الترميز الخاص، إدارة الملفات، حماية مفتاح API خارج الشيفرة |
اعتمد المشروع على نموذج MediaPipe Hands الجاهز دون إعادة تدريب أو تعديل لأوزانه، وكُيّفت مخرجاته بشروط رياضية وعلاقات هندسية بين النقاط، فلم يحتج إلى بيانات تدريب إضافية.
أظهر التنفيذ العملي أن النظام:
لم يعرض الكتاب قياسات كمية مثل عدد الإطارات في الثانية، أو نسبة دقة التعرف على الإيماءات، أو نسبة المعادلات التي حُلّت بشكل صحيح، أو مواصفات الجهاز المستخدم في الاختبار.
بحسب الآفاق الواردة في المشروع:
إذا كنت تعمل على نظام تفاعلي يعتمد على الرؤية الحاسوبية والتتبع وتحتاج إلى مساعدة تقنية في تطوير الفكرة أو بناء نموذج أولي، يمكن التواصل مع مكتب تكنو إنجاز لمناقشة متطلبات المشروع ونطاق الدعم المناسب.
هو نظام تفاعلي يحوّل كاميرا الويب العادية إلى أداة إدخال تتيح الكتابة والرسم بالإصبع في الهواء دون قلم أو عتاد إضافي، نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز. ويهدف إلى تقديم بديل منخفض التكلفة للسبورات الذكية وأجهزة الرسم الرقمية في البيئات التعليمية.
يستخرج نموذج MediaPipe Hands الجاهز إحداثيات 21 نقطة مفصلية في اليد، ثم يحدد النظام الإيماءة من عدد الأصابع المرفوعة والمسافات بين رؤوس الأصابع والمعصم. رفع السبابة يعني الكتابة، ورفع إصبعين يعني اختيار الألوان والأدوات، ورفع الإبهام يحفظ لقطة من اللوح.
يحدد المستخدم المعادلة ويؤكد الإرسال، فيقص النظام منطقتها ويحولها إلى تدرج رمادي مع عكس الألوان، ثم يرسلها إلى Google Gemini API بتعليمات مقيدة بالرياضيات. يعيد النموذج الحل مع خطواته، ويعرض النظام تنبيهًا بدل النتيجة إذا كانت المعادلة غير واضحة، ويجري الاتصال في مسار منفصل حتى لا يتجمد بث الكاميرا.
بُني النظام بلغة Python باستخدام MediaPipe Hands لتتبع اليد، وOpenCV لالتقاط الفيديو والرسم والواجهة، وNumPy وmath للحسابات الهندسية، وthreading للمعالجة المتوازية، وrequests وjson وbase64 للاتصال بـ Gemini، وPIL وos وdotenv لعرض النصوص وإدارة الملفات وحماية مفتاح API.
عمل النظام لحظيًا بكاميرا ويب وحاسوب متوسط دون معالج رسوميات، لكن الكتاب لم يعرض قياسات كمية للدقة أو عدد الإطارات. ويتتبع يدًا واحدة فقط، ويتأثر باهتزاز النقاط والإضاءة وإخفاء الأصابع وغياب العمق، وقد تلتبس بعض الرموز والكسور في المعادلات المكتوبة في الهواء.
تواصل مع فريق تكنو إنجاز لمناقشة قابلية التنفيذ العملي، اختيار القطع، وتطوير النموذج الأولي.
نماذج تطبيقية ومنظومات برمجية وهندسية منجزة بدعم المكتب
لوح افتراضي يتيح الكتابة والرسم واختيار الألوان والمسح بإيماءات اليد أمام الكاميرا، مبني بلغة Python مع MediaPipe لتتبع الأصابع وOpenCV لمعالجة الفيديو.
نموذج أولي يكشف الأشخاص بـ YOLOv8 ويتتبعهم بـ DeepSORT داخل مناطق عمل محددة، ويحسب زمن التواجد بالثواني ويصدّر السجلات إلى Excel، مختبر على فيديو مكتبي.
نموذج أولي لمراقبة الامتحانات يستخدم YOLO وMediaPipe وOpenCV لتحليل اتجاه رأس الطالب، فيؤشر الالتفات بإطار أحمر للمراجعة والتوجه الأمامي بإطار أخضر.
