كف روبوتية تحاكي بسط أصابع اليد البشرية وقبضها لحظيًا عبر تتبع اليد بالكاميرا، وإرسال حالة الأصابع لاسلكيًا إلى Arduino UNO يحرك محركات السيرفو.
مشروع أكاديمي بعنوان «تصميم وتنفيذ كف روبوتية تحاكي حركة اليد البشرية باستخدام الذكاء الاصطناعي والرؤية الحاسوبية»، نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز. يلتقط النظام صورة يد المستخدم بالكاميرا، ويحدد مفاصل الأصابع ويستنتج حالة كل إصبع (مبسوط أو مقبوض)، ثم يرسل هذه الحالة لاسلكيًا عبر Bluetooth HC-05 إلى لوحة Arduino UNO التي تحرك محركات السيرفو في الكف الروبوتية لتحاكي الحركة نفسها.
يمثل المشروع مثالًا تطبيقيًا على التفاعل بين الإنسان والروبوت (Human–Robot Interaction) والتحكم بالإيماءات دون قفازات أو حساسات على اليد. وقد نجح النموذج في محاكاة بسط الأصابع وقبضها لحظيًا، وأظهرت التجارب أن الاتصال اللاسلكي كان أكثر كفاءة وموثوقية من الاتصال السلكي في التحكم بالكف.
| العنصر | البيانات |
|---|---|
| نوع المشروع | نموذج أولي لكف روبوتية يُتحكم بها بإيماءات اليد |
| المجال | الروبوتات، الرؤية الحاسوبية، تقدير الوضعيات، الأنظمة المضمنة |
| حالة المشروع | نموذج أولي منفذ ومختبر عمليًا |
| دور تكنو إنجاز | دعم ومساعدة تقنية للطلاب أثناء تطوير المشروع |
| تقنيات أساسية | تتبع اليد وتقدير الوضعيات بالرؤية الحاسوبية، Arduino UNO، محركات سيرفو، HC-05، منظم جهد DC-DC Step Down |
| المخرجات | كف روبوتية، نظام كشف حالة الأصابع، مصفوفة تحكم من خمس قيم، منظومة تحكم لاسلكية بستة محركات سيرفو |
اليد البشرية نظام بالغ التعقيد يمتلك عددًا كبيرًا من درجات الحرية، إذ تعمل الأصابع والمعصم والكف معًا أو كلٌّ على حدة. والروبوتات التقليدية غالبًا ما تعتمد على برمجيات وتعليمات ثابتة مسبقًا، فلا تستطيع التفاعل بشكل طبيعي مع المهام المتغيرة، ويصعب وضع نموذج رياضي تقليدي يحاكي جميع حركات اليد.
يقترح المشروع الاستعانة بالرؤية الحاسوبية والذكاء الاصطناعي: تلتقط الكاميرا حركة اليد، وتحوّلها الخوارزميات إلى أوامر تحكم، فيصبح بالإمكان قيادة كف روبوتية بحركة اليد الطبيعية بدل البرمجة الثابتة. ويرى المشروع أن لهذه الفكرة آفاقًا في الأطراف الصناعية الذكية، ومساعدة ذوي الاحتياجات الخاصة، والتحكم عن بُعد في البيئات الخطرة.
نُفذ المشروع أكاديميًا بواسطة الطلاب، مع مساعدة ودعم تقني من مكتب تكنو إنجاز أثناء مراحل التطوير، شمل تكامل مكونات الرؤية الحاسوبية مع التحكم المضمن وتطوير تجربة التشغيل. ويُعرض المشروع ضمن أعمال المكتب مثالًا على دعمه لمشاريع الروبوتات والتحكم بالإيماءات.
يصف المخطط التدفقي للمشروع حلقة عمل تتكرر مع كل إطار فيديو:
يخصص الكتاب فصلًا كاملًا لتقدير الوضعيات (Pose Estimation) ومكتبة MediaPipe من Google، ومنها نموذج MediaPipe Hands الذي يحدد 21 نقطة رئيسية على اليد تشمل المفاصل وأطراف الأصابع والمعصم، ويعمل بكاميرات بسيطة مثل كاميرا الحاسوب المحمول. ويشرح الكتاب مراحل عمله: كشف اليد في الإطار الأول أو عند فقدانها، ثم قص منطقة اليد، ثم تقدير العلامات الـ 21، مع الاستفادة من الإطار السابق لتسريع التتبع.
كما يستعرض الكتاب نموذجي BlazePose لتقدير وضعيات الجسم وFace Mesh لتتبع الوجه، إلى جانب أساسيات معالجة الصور الرقمية والتعلم الآلي والتعلم العميق والشبكات العصبية الالتفافية بوصفها الأساس النظري للمشروع.
| المكون | الدور في النظام |
|---|---|
| كاميرا | التقاط صورة يد المستخدم لحظيًا |
| Arduino UNO (المتحكم ATmega328P) | وحدة التحكم الرئيسية: تستقبل حالة الأصابع وتولد إشارات PWM للمحركات |
| ستة محركات سيرفو (SERVO1 إلى SERVO6) | تحريك أجزاء الكف الروبوتية إلى زوايا محددة |
| وحدة البلوتوث HC-05 | اتصال لاسلكي قصير المدى عبر واجهة UART بين الحاسوب والمتحكم |
| منظم جهد DC-DC Step Down | خفض جهد مصدر الطاقة إلى مستوى مناسب ومستقر للوحة والمحركات |
| مصدر طاقة | بطارية أو محول يغذي النظام |
ويذكر الكتاب من مواصفات HC-05 أنها تعمل بتقنية Bluetooth V2.0 ضمن نطاق 2.4–2.485 GHz، بمدى نموذجي بين 10 و100 متر وجهد تشغيل بين 3.3 و5 فولت.
بحسب نتائج التنفيذ العملي الواردة في الكتاب:
هذه نتائج وصفية من عرض عملي؛ لم يعرض الكتاب قياسات كمية مثل نسبة دقة التعرف على حالات الأصابع، أو زمن الاستجابة بالمللي ثانية، أو عدد التجارب ومستخدميها.
بحسب الآفاق المستقبلية الواردة في المشروع:
إذا كنت تعمل على ذراع روبوتية تعتمد على تتبع الحركة وتحتاج إلى مساعدة تقنية في تطوير الفكرة أو بناء نموذج أولي، يمكن التواصل مع مكتب تكنو إنجاز لمناقشة متطلبات المشروع ونطاق الدعم المناسب.
تلتقط الكاميرا كل إطار وتحوّله إلى صيغة RGB، ثم تحدد خوارزمية كشف اليد نقاطها الرئيسية وتستنتج حالة كل إصبع. تتكون مصفوفة من خمس قيم، فالقيمة 1 تعني إصبعًا مبسوطًا والقيمة 0 إصبعًا مقبوضًا، وتُرسل عبر البلوتوث إلى Arduino UNO الذي يحرك محركات السيرفو لتحاكي الكف الحالة نفسها.
يضم النموذج كاميرا لالتقاط اليد، ولوحة Arduino UNO بالمتحكم ATmega328P، وستة محركات سيرفو لتحريك أجزاء الكف، ووحدة Bluetooth HC-05 للاتصال اللاسلكي عبر UART، ومنظم جهد DC-DC Step Down مع مصدر طاقة.
يعتمد المشروع على تقدير وضعيات اليد بالرؤية الحاسوبية، ويشرح الكتاب نموذج MediaPipe Hands من Google الذي يحدد 21 نقطة رئيسية على اليد تشمل المفاصل وأطراف الأصابع والمعصم ويعمل بكاميرات بسيطة. ومن هذه النقاط تُستنتج حالة كل إصبع لتوليد أوامر التحكم.
نجحت الكف في محاكاة بسط الأصابع وقبضها لحظيًا وبسلاسة في العرض العملي، وأظهرت الاختبارات أن الاتصال اللاسلكي كان أكثر كفاءة وموثوقية من السلكي في التحكم بها. ولم يعرض الكتاب قياسات كمية مثل دقة التعرف أو زمن الاستجابة.
تتعامل النسخة الحالية مع حالتين لكل إصبع فقط، ولم يُوثَّق اختبار الإمساك بأجسام، وتتأثر دقة التتبع بالإضاءة واختفاء اليد. ويقترح المشروع تحسين الكشف بالتعلم العميق، واستخدام محركات خطوية أو محركات بمشفرات، وإضافة مستشعرات لمس وقوة وكاميرات عمق، وتطوير الكف إلى ذراع روبوتية كاملة.
تواصل مع فريق تكنو إنجاز لمناقشة قابلية التنفيذ العملي، اختيار القطع، وتطوير النموذج الأولي.
نماذج تطبيقية ومنظومات برمجية وهندسية منجزة بدعم المكتب
نموذج أولي لروبوت أرضي متحكم به عن بُعد يجمع Arduino UNO وثلاث قنوات اتصال (Bluetooth وWi-Fi وRF 433MHz) وكاميرا تحلل صورها خوارزمية YOLO.
نموذج أولي يقيس نسبة مستوى الماء في الخزان بمستشعر HC-SR04 ولوحة Arduino Nano، ويعرضها على شاشة LCD ويرسلها عبر Bluetooth HC-05 إلى تطبيق هاتف.
نظام تحكم تتابعي لمحطة خلط سوائل كيميائية بوحدة Delta PLC وبرمجة Ladder، مع حساسات مستوى ومراقبة حرارة وواجهة HMI على DOPSoft، مختبر في بيئة محاكاة.
