روبوت دردشة تعليمي صوتي يجيب عن أسئلة البرمجة والتقنية عبر نموذج Gemini-live-2.5-flash وخادم Node.js، مع لوحة NodeMCU ESP8266 ومحرك MG995 يحرك ذراعه بالتزامن مع الرد.
مشروع تطوير روبوت دردشة تعليمي صوتي يعمل مساعدًا تقنيًا للطلاب في البرمجة وهندسة الحاسوب والشبكات، نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز. يستقبل الروبوت سؤال المستخدم صوتيًا عبر واجهة ويب، ويحوله إلى نص، ثم يرسله إلى نموذج الذكاء الاصطناعي Gemini-live-2.5-flash من Google لتوليد إجابة سياقية تُعرض نصًا وتُنطق صوتًا، بينما يحرك محرك سيرفو ذراع الروبوت بالتزامن مع الرد.
يجمع المشروع بين ثلاثة مجالات في نظام واحد: الذكاء الاصطناعي التوليدي ومعالجة اللغات الطبيعية (NLP)، وتقنيات الويب في الزمن الحقيقي عبر خادم Node.js وبروتوكول WebSocket، وإنترنت الأشياء والأنظمة المدمجة عبر لوحة NodeMCU ESP8266 ومحرك MG995. وأظهرت التجارب العملية نجاح المحادثة الصوتية وتزامن الرد مع حركة الذراع، دون أن يقدم التقرير قياسات رقمية لدقة الإجابات أو زمن الاستجابة.
| العنصر | البيانات |
|---|---|
| نوع المشروع | روبوت دردشة تعليمي صوتي مع تفاعل حركي |
| المجال | الذكاء الاصطناعي في التعليم، معالجة اللغات الطبيعية، إنترنت الأشياء |
| حالة المشروع | نموذج فيزيائي عامل جُرّب عمليًا في محادثات صوتية |
| دور تكنو إنجاز | دعم ومساعدة تقنية للطلاب أثناء تطوير المشروع |
| تقنيات أساسية | Gemini-live-2.5-flash (Gemini Live API)، JavaScript، Node.js، WebSocket، NodeMCU ESP8266، Servo MG995 |
| المخرجات | محادثة صوتية ونصية، ردود منطوقة (TTS)، حركة ذراع متزامنة، واجهة ويب مع سجل تصحيح |
يحتاج طلاب التخصصات التقنية إلى إجابات سريعة عن أسئلة البرمجة والمفاهيم التقنية خارج أوقات المحاضرات والدوام الرسمي، بينما ينشغل المدرسون بالرد على أسئلة متكررة وشائعة. ينتمي المشروع إلى مجال الذكاء الاصطناعي في التعليم (AIEd)، ويهدف إلى توفير مساعد رقمي متاح على مدار الساعة يفهم سياق السؤال لا كلماته المفتاحية فقط، ويشجع التعلم الذاتي عبر بيئة يطرح فيها الطالب أسئلته دون حرج.
ولإضفاء طابع أكثر واقعية على التفاعل، لم يقتصر المشروع على تطبيق محادثة برمجي، بل أضاف جسمًا فيزيائيًا للروبوت بذراع متحركة ومكبر صوت.
نُفذ المشروع أكاديميًا بواسطة الطلاب، مع مساعدة ودعم تقني من مكتب تكنو إنجاز أثناء مراحل التطوير. ويُعرض ضمن أعمال المكتب مثالًا على دعمه للمشاريع التي تربط النماذج اللغوية السحابية بالعتاد الإلكتروني وإنترنت الأشياء.
يعمل النظام عبر مسارين متزامنين يلتقيان في الخادم المركزي:
| الكتلة | الدور |
|---|---|
| واجهة المستخدم (Web Client) | استقبال الصوت وتحويله إلى نص، وعرض الرد وتحويله إلى كلام |
| الخادم المركزي (Node.js Backend) | إدارة الطلبات وتنظيم تدفق البيانات ومزامنة حالة الروبوت |
| خدمة الذكاء الاصطناعي (Google Gemini API) | معالجة النص وتوليد الإجابات بالنموذج اللغوي |
| العتاد الإلكتروني (ESP8266) | التحكم بحركة محرك السيرفو واستقبال أوامر التشغيل والإيقاف |
تستخدم الواجهة بروتوكول WebSocket مع الخادم لنقل البيانات لحظيًا، ويتواصل الخادم مع خوادم Google عبر HTTPS، بينما يتصل المتحكم بالخادم عبر HTTP Polling. وتدعم واجهة Gemini نمطين: REST API للطلبات القياسية بصيغة JSON، وLive API المعتمدة على WebSocket للاتصال ثنائي الاتجاه بزمن استجابة منخفض، مع إعدادات مثل Temperature وTop-K وTop-P للتحكم بطبيعة المخرجات.
| المكوّن | الدور والمواصفات الموثقة |
|---|---|
| NodeMCU ESP8266 | الاتصال اللاسلكي Wi-Fi (802.11 b/g/n) والتحكم بالسيرفو؛ معالج L106 32-bit بتردد 80–160 MHz وجهد تشغيل 3.3V |
| محرك سيرفو TowerPro MG995 | تحريك ذراع الروبوت؛ سيرفو رقمي بتروس معدنية، جهد 4.8–7.2V، عزم 10–12 kg/cm، دوران حتى 180 درجة |
| بطاريات ليثيوم أيون 18650 | مصدر الطاقة؛ جهد اسمي 3.6–3.7V وجهد شحن كامل 4.2V |
| منظم الجهد LM2596 | خفض الجهد وتوفير قيمة مستقرة للدارات؛ دخل 4.5–40V، خرج قابل للضبط 1.23–37V، تيار حتى 3A |
| نظام إدارة البطارية BMS | الحماية من الشحن الزائد والتفريغ العميق والتيار الزائد والقصر |
| محول AC-to-DC تبديلي | تحويل التيار المتردد إلى تيار مستمر لتغذية الدارات |
| مكبر صوت | إخراج الردود الصوتية |
يمر التيار من مصدر الطاقة إلى وحدة BMS للحماية، ثم إلى منظم LM2596 لخفض الجهد، ويتصل السيرفو بلوحة ESP8266 بخطوط الطاقة والإشارة مع أرضي مشترك بين جميع المكونات. وصُمم الهيكل الخارجي من أجزاء خفيفة تخفي المكونات الإلكترونية مع إبقاء الوصول إليها سهلًا للصيانة.
صُممت واجهة ويب بسيطة لإجراء المحادثات الصوتية ومتابعة حالة النظام لحظيًا، وتضم:
أظهرت التجارب العملية للنموذج ما يلي:
هذه نتائج وظيفية للنموذج الأولي. لم يعرض التقرير قيمًا كمية لدقة الإجابات أو زمن الاستجابة أو عدد الأسئلة المختبرة، لذلك لا تُنسب للنظام نسب دقة غير موثقة.
بحسب الآفاق الواردة في المشروع:
إذا كنت تعمل على روبوت دردشة أو مساعد ذكي يعتمد على النماذج اللغوية والصوت وتحتاج إلى مساعدة تقنية في تطوير الفكرة أو بناء نموذج أولي، يمكن التواصل مع مكتب تكنو إنجاز لمناقشة متطلبات المشروع ونطاق الدعم المناسب.
روبوت دردشة تعليمي صوتي يعمل مساعدًا تقنيًا للطلاب في البرمجة والمجالات التقنية، نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز. يستقبل الأسئلة صوتيًا ويجيب نصًا وصوتًا عبر نموذج Gemini، ويحرك ذراعه بمحرك سيرفو أثناء الرد.
تحول واجهة الويب كلام المستخدم إلى نص وترسله عبر WebSocket إلى خادم Node.js، الذي يمرره إلى Gemini API عبر HTTPS. يعود الرد بالبث التدريجي فيُعرض نصًا ويُنطق بتقنية Text-to-Speech، بينما تستعلم لوحة ESP8266 من الخادم عبر HTTP Polling لتحريك الذراع بالتزامن.
برمجيًا: JavaScript وNode.js وWebSocket ونموذج Gemini-live-2.5-flash مع تقنيات تحويل الكلام إلى نص والنص إلى كلام. عتاديًا: لوحة NodeMCU ESP8266، ومحرك سيرفو TowerPro MG995، وبطاريات ليثيوم 18650 مع منظم LM2596 ودارة BMS، ومحول AC-to-DC ومكبر صوت.
أظهرت التجارب نجاح المحادثة الصوتية عبر المتصفح، واستقرار استقبال ردود Gemini وتحويلها إلى صوت، وتزامن الرد مع حركة الذراع، واستقرار عمل السيرفو والتغذية الكهربائية. وهي نتائج وظيفية لنموذج أولي، إذ لم يعرض التقرير قياسات رقمية لدقة الإجابات أو زمن الاستجابة.
يعتمد الروبوت كليًا على الإنترنت والمعالجة السحابية ولا يعمل دون اتصال، وتقتصر حركته على ذراع واحدة. لا يستخدم كاميرا أو تعرفًا على الوجوه، ولا يقدم استشارات طبية أو قانونية أو نفسية، ومن التطويرات المقترحة ذاكرة محادثات ونماذج محلية ودعم لهجات متعددة.
تواصل مع فريق تكنو إنجاز لمناقشة قابلية التنفيذ العملي، اختيار القطع، وتطوير النموذج الأولي.
نماذج تطبيقية ومنظومات برمجية وهندسية منجزة بدعم المكتب
نظام تعليمي للأطفال يتعرف عبر الكاميرا على الحيوانات بـ YOLO11 والألوان بـ HSV والأرقام بـ OCR، ويعرض النتيجة وينطقها بصوت عربي مسجل.
نظام رؤية حاسوبية يكشف السكين والمسدس لحظيًا من كاميرا الحاسوب أو الهاتف بنموذجي YOLOv8 مدربين، ويحدد موقع السلاح بإطار داخل الصورة باستخدام Python وOpenCV.
نظام تعليمي تفاعلي للأطفال يتعرف على الأشياء عبر الكاميرا بخوارزمية YOLOv8 وينطق أسماءها، ويحدد الألوان بنموذج HSV، ويتعرف على محتوى الصور المحمّلة.
