لوح افتراضي يتيح الكتابة والرسم واختيار الألوان والمسح بإيماءات اليد أمام الكاميرا، مبني بلغة Python مع MediaPipe لتتبع الأصابع وOpenCV لمعالجة الفيديو.
مشروع تطوير لوح افتراضي تفاعلي يتيح الكتابة والرسم والمسح واختيار الألوان باستخدام حركة اليد أمام الكاميرا، دون الحاجة إلى لمس شاشة أو استخدام قلم إلكتروني، مع الاعتماد على تقنيات الرؤية الحاسوبية وتتبع اليد لتحويل الإيماءات إلى أوامر تظهر مباشرة على اللوح الافتراضي. نفذ فريق من الطلاب المشروع بمساعدة تقنية من مكتب تكنو إنجاز.
بُني النموذج بلغة Python باستخدام MediaPipe لتتبع مواضع أصابع اليد وOpenCV لمعالجة الفيديو وNumPy لمعالجة البيانات، ضمن بيئة Anaconda. وجُرّبت فيه حالات استخدام فعلية مثل الرسم، وتغيير اللون، والإيقاف المؤقت للتفاعل، والمسح الجزئي أو الكامل، وكان تحديث الرسم على الشاشة قريبًا من الزمن الحقيقي في بيئة الاختبار، دون قياسات رقمية منشورة للدقة أو زمن الاستجابة.
| العنصر | البيانات |
|---|---|
| نوع المشروع | نموذج أولي تفاعلي يعتمد على التحكم بالإيماءات |
| المجال | تقنيات التعليم والرؤية الحاسوبية |
| حالة المشروع | نموذج أولي تم تطويره وتجربته وظيفيًا |
| دور تكنو إنجاز | دعم ومساعدة تقنية للطلاب أثناء تطوير المشروع |
| تقنيات أساسية | Python، MediaPipe، OpenCV، NumPy، Anaconda، VS Code |
| المخرجات | لوح رقمي يُكتب ويُرسم عليه بالإيماءات، لوحة ألوان، مسح جزئي وكامل، حالة إيقاف مؤقت |
ما تزال السبورة التقليدية الأداة الأساسية في كثير من الفصول الدراسية، وهي تُلزم المعلم بإدارة ظهره للطلاب أثناء الكتابة، ما يقلل التواصل البصري ويصعّب متابعة تفاعلهم، كما يجد الطلاب في المقاعد الخلفية صعوبة أحيانًا في قراءة ما يُكتب. ويقترح المشروع لوحًا رقميًا يتحكم فيه المعلم بحركة يده أمام الكاميرا، فيكتب ويغير الألوان ويمسح دون لمس أي سطح، مع بقائه مواجهًا للطلاب.
ويرى المشروع أن هذه الفكرة يمكن أن تمتد إلى مراكز التدريب والاجتماعات الافتراضية والعروض التقديمية، إضافة إلى الفصول الدراسية.
نُفذ المشروع أكاديميًا بواسطة فريق من الطلاب، مع مساعدة ودعم تقني من مكتب تكنو إنجاز أثناء مراحل التطوير. ويُعرض ضمن أعمال المكتب مثالًا على دعمه للنماذج الأولية التي تجمع بين تتبع اليد ومعالجة الفيديو وواجهات التفاعل.
صُمم النموذج بواجهتين جرى دمجهما في واجهة واحدة: واجهة لالتقاط حركة اليد وتتبعها بالكاميرا، وطبقة سوداء للوح تحتوي على أدوات التفاعل مثل لوحة الألوان والمسح. يسمح هذا الدمج بإظهار أثر الإيماءة مباشرة داخل مساحة الرسم أثناء معالجة الفيديو في الوقت نفسه.
| الحالة | طريقة التنفيذ في التجربة |
|---|---|
| الرسم والكتابة | تحريك السبابة والوسطى متقاربتين، فتتحول الحركة إلى خطوط رقمية على اللوح |
| اختيار اللون | تحديد لون من لوحة الألوان (جُرّب اختيار اللون الأحمر) ثم متابعة الرسم به |
| إيقاف التفاعل مؤقتًا | بسط اليد بالكامل، فلا ينفذ النظام أي أمر رسم أو مسح للحد من التفاعلات غير المقصودة |
| المسح الجزئي | إيماءة مخصصة للمسح تحذف جزءًا محددًا من الكتابة أو الرسم |
| المسح الكامل | زر Clear على اللوح لإزالة كل المحتوى والبدء من جديد |
| الأداة | الدور |
|---|---|
| Python | لغة البرمجة الرئيسية |
| Anaconda | إنشاء بيئة عمل مستقلة للمشروع وتقليل مشكلات توافق المكتبات |
| VS Code | بيئة كتابة الشيفرة |
| MediaPipe | تتبع اليد وتحديد مواضع الأصابع |
| OpenCV | التقاط الفيديو ومعالجة الصور والإطارات |
| NumPy | عمليات معالجة البيانات |
تسمح هذه البنية بالتعامل مع تدفق الفيديو من الكاميرا وتحليل حركة اليد ثم تحديث واجهة اللوح وفق الإيماءة المكتشفة.
أظهرت التجارب عدة تحديات عملية مرتبطة بتتبع الحركة في الزمن الحقيقي:
هذه التحديات كانت جزءًا مهمًا من التجربة، لأنها أوضحت العوامل التي ينبغي مراعاتها عند الانتقال من نموذج تجريبي إلى تطبيق أكثر استقرارًا للاستخدام اليومي.
أثبتت التجربة إمكانية دمج تتبع حركة اليد مع واجهة كتابة ورسم رقمية وتشغيل الوظائف الأساسية للنموذج. وخلال بيئة الاختبار كان تحديث الرسم أو الكتابة على الشاشة قريبًا من الزمن الحقيقي، مع بقاء الأداء مرتبطًا بظروف الإضاءة ومواصفات الجهاز وسرعة الحركة أمام الكاميرا.
لا يقدم المشروع قياسات رقمية منشورة للدقة أو زمن الاستجابة أو عدد المستخدمين المختبرين، لذلك تركز هذه الصفحة على الوظائف التي تم تنفيذها وملاحظتها فعليًا بدل استخدام نسب أداء غير موثقة.
حدد المشروع عدة توصيات يمكن دراستها في إصدارات لاحقة:
كما طُرحت أفكار مستقبلية أوسع، مثل دمج الواقع المعزز والافتراضي لعرض نماذج ثلاثية الأبعاد، والتحكم بأوامر صوتية مثل "مسح الشاشة" و"تغيير اللون"، وتطبيق للهواتف والأجهزة اللوحية يعمل دون اتصال، ودعم ذوي الإعاقة ولغة الإشارة، لكنها تظل أفكارًا للتطوير المستقبلي وليست وظائف منفذة في النسخة الحالية.
إذا كنت تعمل على نموذج يعتمد على الرؤية الحاسوبية أو التفاعل بالإيماءات وتحتاج إلى مساعدة تقنية في تطوير الفكرة أو بناء نموذج أولي، يمكن التواصل مع مكتب تكنو إنجاز لمناقشة متطلبات المشروع ونطاق الدعم المناسب.
يتيح اللوح الكتابة والرسم والمسح واختيار الألوان بحركة اليد أمام الكاميرا، دون لمس شاشة أو استخدام قلم إلكتروني. صُمم أساسًا ليكتب المعلم ويتحكم بالمحتوى وهو مواجه للطلاب، ونفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز.
اعتمد النموذج على Python لغةً رئيسية مع Anaconda لإدارة بيئة المشروع وVS Code لكتابة الشيفرة. استُخدمت MediaPipe لتتبع اليد وتحديد مواضع الأصابع، وOpenCV لمعالجة الصور والفيديو، وNumPy ضمن عمليات معالجة البيانات.
يُرسم على اللوح بتحريك السبابة والوسطى متقاربتين، ويُختار اللون من لوحة الألوان، ويُمسح جزء من الكتابة بإيماءة مخصصة، ويُمسح اللوح كاملًا بزر Clear. وعند بسط اليد بالكامل يدخل النظام حالة إيقاف مؤقت فلا ينفذ أي أمر رسم أو مسح، للحد من التفاعلات غير المقصودة.
انخفضت دقة التتبع مع حركات الأصابع السريعة أو المعقدة، وتأثر الأداء بالإضاءة المنخفضة جدًا أو المرتفعة. كما سبب وجود أشخاص أو أجسام متحركة أو انعكاسات في مجال الكاميرا تشويشًا، وظهر تأخير طفيف على الأجهزة منخفضة المواصفات.
لا، فالمشروع يوثق نتائج وظيفية: عمل الرسم واختيار اللون والإيقاف المؤقت والمسح، مع تحديث للرسم قريب من الزمن الحقيقي في بيئة الاختبار. ولم يعرض قياسات رقمية للدقة أو زمن الاستجابة، أما التحكم الصوتي والواقع المعزز وتطبيق الهاتف فهي أفكار مستقبلية.
تواصل مع فريق تكنو إنجاز لمناقشة قابلية التنفيذ العملي، اختيار القطع، وتطوير النموذج الأولي.
نماذج تطبيقية ومنظومات برمجية وهندسية منجزة بدعم المكتب
نموذج أولي يكشف الأشخاص بـ YOLOv8 ويتتبعهم بـ DeepSORT داخل مناطق عمل محددة، ويحسب زمن التواجد بالثواني ويصدّر السجلات إلى Excel، مختبر على فيديو مكتبي.
نموذج أولي لمراقبة الامتحانات يستخدم YOLO وMediaPipe وOpenCV لتحليل اتجاه رأس الطالب، فيؤشر الالتفات بإطار أحمر للمراجعة والتوجه الأمامي بإطار أخضر.
نموذج أولي للتحكم في الدخول إلى منطقة حساسة بالتعرف على الوجه عبر OpenCV وface-recognition، يسجل وقت دخول المصرح لهم ويحفظ صور المجهولين ويطلق إنذارًا صوتيًا.
