نظام Python يتحكم بالحاسوب بإيماءات اليد عبر كاميرا ويب، يتتبع 21 نقطة لليد بـ MediaPipe ويضبط سطوع الشاشة ويحاكي الفأرة بست إيماءات عبر PyAutoGUI.
التحكم عن بعد لتطبيقات الحاسوب بإيماءات اليد مشروع أكاديمي نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز، لتطوير نظام تفاعل لا تلامسي يستبدل الفأرة وأدوات التحكم التقليدية بإيماءات اليد أمام كاميرا ويب عادية، دون قفازات أو حساسات أو كاميرات عمق. يعتمد النظام على MediaPipe Hands لاستخراج 21 نقطة معلمية لليد وتتبعها في الزمن الحقيقي، وعلى OpenCV لالتقاط الفيديو ومعالجته، وعلى PyAutoGUI لتنفيذ الأوامر على نظام التشغيل، بلغة Python.
يوثق المشروع تنفيذ التحكم بسطوع الشاشة بالمسافة بين الإبهام والسبابة، مع شريط مرئي يعرض مستوى السطوع، إضافة إلى قاموس من ست إيماءات للتحكم بالفأرة (تحريك، نقر أيسر وأيمن ومزدوج، سحب وإفلات، وإيماءة أمان). ويقع المشروع ضمن مجال التفاعل بين الإنسان والحاسوب (HCI) وواجهات المستخدم الطبيعية (NUI)، والنتائج المعروضة وصفية من تجارب عملية دون قياسات كمية للدقة أو السرعة.
| العنصر | البيانات |
|---|---|
| نوع المشروع | نظام رؤية حاسوبية للتحكم بالحاسوب بإيماءات اليد |
| المجال | التفاعل بين الإنسان والحاسوب (HCI)، الرؤية الحاسوبية، تتبع اليد |
| حالة المشروع | نموذج عامل يعمل على حاسوب شخصي بكاميرا ويب، مختبر بأوضاع يد مختلفة |
| دور تكنو إنجاز | دعم ومساعدة تقنية للطلاب أثناء تطوير المشروع |
| تقنيات أساسية | Python، MediaPipe Hands، OpenCV، NumPy، PyAutoGUI، Anaconda، VS Code |
| المخرجات | التحكم بسطوع الشاشة بالإيماءات، محاكاة الفأرة بست إيماءات، تغذية راجعة مرئية، مفاتيح إيقاف وتصحيح |
ما زالت معظم أنظمة التحكم تعتمد على الفأرة ولوحة المفاتيح، ما يفرض وجود المستخدم قرب الجهاز ولمسه، ويحد من الاستخدام في بيئات تتطلب التعقيم أو إبقاء اليدين حرتين، ويصعّب الاستخدام على بعض ذوي الإعاقات الحركية. وفي المقابل:
لذلك سعى المشروع إلى حل يجمع بين دقة التتبع، والتكلفة المنخفضة بكاميرا ويب عادية، والعمل في الزمن الحقيقي على المعالج المركزي دون معالج رسوميات قوي.
نُفذ المشروع أكاديميًا بواسطة الطلاب، مع مساعدة ودعم تقني من مكتب تكنو إنجاز أثناء مراحل التطوير. ويُعرض ضمن أعمال المكتب مثالًا على دعمه لمشاريع الرؤية الحاسوبية التي تحول تتبع اليد إلى أوامر تحكم فعلية على الحاسوب.
يحدد النظام موقعي طرف الإبهام وطرف السبابة ويحسب المسافة بينهما باستمرار، ثم يحولها إلى نسبة سطوع تُرسل إلى نظام التشغيل فورًا. وتعرض الشاشة نموذج اليد المكتشفة والمسافة المحسوبة وشريطًا بيانيًا لمستوى السطوع الحالي.
| الإيماءة | وضع الأصابع | النتيجة |
|---|---|---|
| خفض السطوع | تقارب الإبهام والسبابة | قيمة منخفضة ضمن المجال الأدنى للسطوع |
| رفع السطوع | إبعاد الإبهام عن السبابة | تحديث القيمة صعودًا أثناء حركة اليد |
| السطوع الأقصى | أكبر تباعد ممكن بين الإصبعين | سطوع 100% |
صُمم قاموس من ست إيماءات موزعة على طيف انفتاح اليد، ومستوحاة من إشارات يومية مألوفة لتقليل الجهد الإدراكي:
| الإيماءة | الشكل | الوظيفة |
|---|---|---|
| القبضة | جميع الأصابع مغلقة | تحريك مستمر للمؤشر |
| النقر الأيسر | فتح السبابة والوسطى (إشارة النصر) | نقرة واحدة |
| النقر الأيمن | فتح ثلاثة أصابع | نقرة يمنى |
| النقر المزدوج | السبابة وحدها | نقرة مزدوجة |
| السحب والإفلات | فتح الإبهام والسبابة كأنهما يمسكان شيئًا | إبقاء زر الفأرة مضغوطًا طوال الإيماءة |
| الكف المفتوح | فتح أربعة أو خمسة أصابع | مفتاح أمان يعيد النظام إلى الحالة المحايدة ويلغي أي أمر قيد التنفيذ |
يعتمد النظام بنية من أربع طبقات:
| الطبقة | المكونات |
|---|---|
| العرض والتفاعل | المستخدم، كاميرا الويب، الشاشة |
| الالتقاط والمعالجة | وحدة الالتقاط، التحويل اللوني (RGB إلى HSV)، العكس المرآتي |
| التحليل والتفسير | تتبع اليد بـ MediaPipe Hands، استخراج المسافات والزوايا، تصنيف الإيماءة، تعيين الأوامر |
| التنفيذ | مرشح تنعيم المؤشر، محاكاة الإدخال بـ PyAutoGUI، التغذية الراجعة المرئية |
وتُضبط معاملات النظام (دقة الكاميرا، حساسية الفأرة، عدد إطارات تأكيد الإيماءة، عتبات الكشف) من ملف تهيئة مركزي، مع أدوات تشخيص لاختبار الكاميرا، ووضع تصحيح يعرض حالة كل إصبع، وإمكانية بناء نسخة تنفيذية (EXE). وطُوّر المشروع بلغة Python ضمن بيئة Anaconda لإدارة الحزم وVS Code لكتابة الشيفرة واختبارها.
اختُبر النظام عمليًا بعدة أوضاع لليد أمام الكاميرا، وأظهرت التجارب نجاح تتبع اليد واستخراج المعالم، وتحويل المسافة بين الإبهام والسبابة إلى قيم سطوع متدرجة من المستويات المنخفضة حتى 100%، مع استقرار جيد في التتبع ودون تأخير ملحوظ بين حركة اليد وتحديث السطوع. وتذكر الخاتمة أن النظام نفّذ أيضًا التحكم بالمؤشر وبعض أوامر النظام ومستوى الصوت عبر إيماءات محددة مسبقًا.
هذه النتائج وصفية؛ فالمشروع لا يعرض قياسات فعلية لدقة التعرف أو معدل الإطارات أو زمن الاستجابة. أما الأرقام الواردة في التحليل (مثل 30 إطارًا في الثانية وزمن استجابة أقل من 150 مللي ثانية ودقة تتجاوز 90%) فهي أهداف ومتطلبات وتقديرات متوقعة وليست نتائج مقاسة. كما أن لقطات لوحة المفاتيح الافتراضية الواردة في المشروع تعود إلى دراسات سابقة استُعرضت للمقارنة، وليست من مخرجات هذا النظام.
بحسب الآفاق الواردة في المشروع:
يعالج النظام بث الكاميرا محليًا على الحاسوب دون خوادم سحابية، ومن متطلباته غير الوظيفية عدم تخزين الفيديو الحي أو إرساله.
إذا كنت تعمل على نظام يعتمد على الرؤية الحاسوبية والتحكم بالإيماءات وتحتاج إلى مساعدة تقنية في تطوير الفكرة أو بناء نموذج أولي، يمكن التواصل مع مكتب تكنو إنجاز لمناقشة متطلبات المشروع ونطاق الدعم المناسب.
هو مشروع أكاديمي نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز، يتيح التحكم بالحاسوب بإيماءات اليد أمام كاميرا ويب عادية دون فأرة أو حساسات. يعتمد على MediaPipe Hands لتتبع 21 نقطة لليد، وOpenCV لمعالجة الفيديو، وPyAutoGUI لتنفيذ الأوامر على نظام التشغيل.
تُحسب حالة كل إصبع بقواعد هندسية من النقاط المعلمية، وتُنعَّم بتصويت الأغلبية على آخر 5 إطارات، ولا تُعتمد الإيماءة إلا بعد تكرارها 3 إطارات متتالية. ثم تُحوَّل إلى أمر، مع تنعيم أسي لحركة المؤشر (α = 0.4) وتجاهل الحركات الأصغر من 8 بكسل وزمن تبريد 0.3 ثانية للنقر.
يتحكم النظام بسطوع الشاشة بالمسافة بين الإبهام والسبابة من الخفض حتى 100%، مع شريط مرئي لمستوى السطوع. ويضم قاموسًا من ست إيماءات للفأرة: القبضة للتحريك، والسبابة والوسطى للنقر الأيسر، وثلاثة أصابع للنقر الأيمن، والسبابة وحدها للنقر المزدوج، والإبهام مع السبابة للسحب والإفلات، والكف المفتوح كمفتاح أمان.
لا، فشبكات CNN وLSTM واردة في الفصل النظري ضمن موضوعات التعرف على الإيماءات، بينما يعتمد التنفيذ الموثق على قواعد هندسية لحالة الأصابع. ولقطات لوحة المفاتيح الافتراضية تعود إلى دراسات سابقة استُعرضت للمقارنة، ودمج التعلم العميق مطروح كتطوير مستقبلي.
أظهرت التجارب العملية نجاح تتبع اليد والتحكم المتدرج بالسطوع باستقرار جيد ودون تأخير ملحوظ، لكن المشروع لا يعرض قياسات فعلية للدقة أو معدل الإطارات. والأرقام مثل 30 إطارًا في الثانية ودقة تتجاوز 90% أهداف متوقعة، ومن حدوده دعم يد واحدة والتأثر بالإضاءة والخلفيات المعقدة.
تواصل مع فريق تكنو إنجاز لمناقشة قابلية التنفيذ العملي، اختيار القطع، وتطوير النموذج الأولي.
نماذج تطبيقية ومنظومات برمجية وهندسية منجزة بدعم المكتب
لوح افتراضي يتيح الكتابة والرسم واختيار الألوان والمسح بإيماءات اليد أمام الكاميرا، مبني بلغة Python مع MediaPipe لتتبع الأصابع وOpenCV لمعالجة الفيديو.
نموذج أولي يكشف الأشخاص بـ YOLOv8 ويتتبعهم بـ DeepSORT داخل مناطق عمل محددة، ويحسب زمن التواجد بالثواني ويصدّر السجلات إلى Excel، مختبر على فيديو مكتبي.
نموذج أولي لمراقبة الامتحانات يستخدم YOLO وMediaPipe وOpenCV لتحليل اتجاه رأس الطالب، فيؤشر الالتفات بإطار أحمر للمراجعة والتوجه الأمامي بإطار أخضر.
