What is the Smart Dent AI dental diagnosis platform?

An assistive web platform for dentists that analyzes clinical and radiographic images with a vision-language model such as Gemini 3.1 Pro, generates a preliminary Arabic diagnostic report locating findings with FDI numbering, then outlines each lesion with the SAM segmentation model. It was built by a team of students with technical assistance from Techno Enjaz; the final diagnosis remains the dentist's.

How do the vision-language model and SAM work together in the platform?

The vision-language model returns a strict JSON report with the condition, tooth number, severity, confidence, recommendation, and an approximate box for each lesion. Each box is passed to SAM, running locally on the server, which produces a precise mask; OpenCV extracts a polygon from it that is drawn over the image, and affected teeth are highlighted on the FDI tooth map.

What measured results did the dental diagnosis platform achieve?

Mean segmentation accuracy was about 0.89 IoU on varied test images (ranging from 0.815 to 0.939). A full analysis took about 58–60 seconds per image on an Intel Core i5 CPU without a GPU, including about 18.7 seconds for SAM image encoding and 10–40 seconds for the Gemini call.

Why wasn't YOLO alone used for dental diagnosis?

A YOLOv8 model trained for comparison on 1,800 images of four conditions reached 92.4% precision and 93.1% mAP@0.5 and is far faster. But it only outputs condition names and rough boxes and needs retraining to add any condition, whereas the proposed approach produces detailed Arabic reports and precise polygons and adds conditions by editing prompts.

What are the limitations of the current dental diagnosis platform?

Analysis takes about a minute per image on the CPU, and the language-model analysis relies on cloud services that require sending images to external servers. The IoU values were measured on a limited number of test images rather than a broad clinical evaluation, and the platform is an assistive tool that does not replace the dentist.

تشخيص أمراض الأسنان بالذكاء الاصطناعي Gemini وSAM

مشروع تطوير منصة ويب ذكية لتشخيص أمراض الفم والأسنان باسم Smart Dent AI، نفذه فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز. تحلل المنصة الصور السنية السريرية والشعاعية، وتولّد تقريرًا تشخيصيًا أوليًا باللغة العربية يحدد الحالات المرضية المكتشفة ومواقعها على الأسنان وفق نظام الترقيم العالمي FDI، ثم ترسم حدود كل إصابة بدقة على مستوى البكسل.

يقوم النظام على فكرة الجمع بين قدرتين متكاملتين: نموذج لغوي رؤيوي (VLM) مثل Gemini 3.1 Pro يفهم الصورة سياقيًا ويكتب التقرير، ونموذج التجزئة SAM من Meta الذي يعمل محليًا على الخادم ليحوّل الصناديق التقريبية إلى مضلعات تلتصق بحدود المنطقة المصابة. والنتيجة أداة مساعدة للطبيب، مع التأكيد أن التشخيص النهائي يبقى من اختصاص طبيب الأسنان المختص.

حقائق المشروع

العنصر	البيانات
نوع المشروع	منصة ويب تشخيصية مساعدة بالذكاء الاصطناعي
المجال	الرؤية الحاسوبية، النماذج اللغوية الرؤيوية، المعلوماتية الطبية
حالة المشروع	نموذج عامل مختبر على جهاز تطوير وصور اختبار متنوعة
دور تكنو إنجاز	دعم ومساعدة تقنية للطلاب أثناء تطوير المشروع
تقنيات أساسية	Gemini 3.1 Pro، Kimi k2.6، SAM (ViT-B)، React 19، TypeScript، Flask، SQLite
المخرجات	تقرير تشخيصي عربي بصيغة JSON، مضلعات تحدد الإصابات، خريطة أسنان FDI، سجلات مرضى، تصدير PDF

المشكلة التي يعالجها المشروع

تعتمد معظم أنظمة الكشف الآلي في طب الأسنان على نماذج كشف الأجسام مثل YOLO، التي تعيد اسم المرض ودرجة ثقة وصندوقًا مستطيلًا تقريبيًا حول المنطقة المشتبه بها. هذا النوع من المخرجات سريع، لكنه محدود بالأمراض التي دُرّب عليها النموذج، ويحتاج إلى إعادة تدريب كاملة عند إضافة أي حالة جديدة، ولا يقدم للطبيب وصفًا نصيًا أو توصية علاجية، كما أن الصندوق المستطيل لا يعكس الشكل التشريحي الحقيقي للإصابة.

سعى المشروع إلى تجاوز هذه القيود عبر نهج يجمع الفهم السياقي الذي تقدمه النماذج اللغوية الرؤيوية مع الدقة المكانية التي تقدمها نماذج التجزئة، داخل منصة عيادة متكاملة لا تقتصر على التشخيص، بل تشمل إدارة المرضى والتقارير والفواتير.

دور مكتب تكنو إنجاز

نُفذ المشروع أكاديميًا بواسطة الطلاب، مع مساعدة ودعم تقني من مكتب تكنو إنجاز أثناء مراحل التطوير. ويُعرض ضمن أعمال المكتب مثالًا على دعمه للمشاريع التي تدمج النماذج التوليدية متعددة الوسائط مع الرؤية الحاسوبية في تطبيقات طبية.

آلية عمل النظام

تمر الصورة داخل المنصة بمسار واضح من الرفع حتى التقرير:

يرفع الطبيب صورة سنية سريرية أو شعاعية من ملف المريض.
يرسل الخادم الخلفي (Flask) الصورة إلى النموذج اللغوي الرؤيوي مع تعليمات موجهة مصممة بعناية.
يعيد النموذج تقريرًا عربيًا بصيغة JSON صارم يتضمن الأمراض المكتشفة، ورقم السن وفق FDI، ودرجة الخطورة، ودرجة ثقة، وتوصية علاجية، إضافة إلى صندوق تقريبي لكل إصابة.
يُمرَّر كل صندوق إلى نموذج SAM الذي يعمل محليًا، فينتج قناعًا دقيقًا للمنطقة المصابة.
تستخرج OpenCV من القناع مضلعًا بعدد محدود من النقاط يُرسم فوق الصورة في الواجهة.
تُظلَّل الأسنان المصابة تلقائيًا على خريطة الأسنان التفاعلية، ويُحفظ الفحص ونتائجه في قاعدة البيانات.
يراجع الطبيب النتائج ويقيّمها، ويمكنه تصدير التقرير بصيغة PDF.

صُممت التعليمات الموجهة بحيث تطبق تحيزًا سلبيًا يمنع النموذج من التبليغ عن حالات غير مؤكدة، بهدف تقليل الإيجابيات الكاذبة. كما يتيح هذا التصميم إضافة أمراض جديدة بتعديل التعليمات فقط، دون إعادة تدريب أي نموذج.

المعمارية البرمجية

اعتمد النظام بنية تطبيق صفحة واحدة (SPA) تفصل الواجهة عن الخادم:

الواجهة الأمامية: React 19 وTypeScript مع Tailwind CSS v4، ودعم الوضعين الداكن والفاتح.
الخادم الخلفي: Flask على Python 3.11، يدير مسارات API ومعالجة الصور واستدعاء النماذج السحابية (Gemini وKimi) وتشغيل SAM محليًا.
نموذج التجزئة: إصدار ViT-B من SAM (نحو 93.74 مليون معامل وحجم 358 ميغابايت)، اختير لتحقيق توازن بين الدقة والسرعة على الأجهزة المتوسطة.
قاعدة البيانات: SQLite بخمسة جداول مترابطة تغطي المرضى، والفحوصات، والاكتشافات المرضية، وتقييمات الأطباء، والموسوعة الطبية.

واجهات المنصة

تضم الواجهة سبع شاشات رئيسية تغطي سير العمل في عيادة ذكية:

الشاشة	الوظيفة
لوحة التحكم	مؤشرات عامة عن المرضى والفحوصات
إدارة المرضى	إضافة وتعديل وحذف وعرض بيانات المرضى
خريطة الأسنان	مخطط تفاعلي بنظام FDI يظلل الأسنان المصابة تلقائيًا
تقرير التشخيص الذكي	عرض نتائج تحليل الصورة والمضلعات والتوصيات
التقارير العلاجية	محرر تقرير مع بنود التشخيص والعلاج لكل سن ومعاينة حية
التسعير والتكاليف	إدارة الفواتير والإيرادات وحالات الدفع
الموسوعة الطبية	مرجع لثمانية أمراض سنية: الأعراض والأسباب والعلاج والوقاية

ويتضمن النظام أيضًا مركز دعم يعتمد على المحادثة الآلية للإجابة عن استفسارات المستخدمين.

النتائج الموثقة

زمن الاستجابة

قيس الأداء على جهاز تطوير بمعالج Intel Core i5-1135G7 وذاكرة 8 جيجابايت، مع تشغيل SAM على المعالج المركزي دون معالج رسوميات:

العملية	الزمن المقاس
تحميل نموذج SAM إلى الذاكرة (مرة واحدة)	1.6 ثانية
استدعاء Gemini 3.1 Pro	10–40 ثانية حسب الصورة وطول التقرير
تشفير الصورة في SAM	18.7 ثانية
التنبؤ بالقناع لكل صندوق	أقل من ثانية
استخراج المضلع من القناع	نحو 10 مللي ثانية
التحليل الكامل لصورة	نحو 58–60 ثانية

ومن التحسينات المطبقة: تشفير الصورة مرة واحدة لكل صورة بدل مرة لكل مرض (توفير نحو 60% من الوقت)، وتصغير الصورة إلى 1024 بكسل كحد أقصى، وتوليد قناع واحد لكل صندوق، والتحميل الكسول للنموذج مع قفل يمنع التحميل المتزامن.

دقة التجزئة

قيست دقة المضلعات بمقياس IoU على صور اختبار متنوعة، وتراوحت القيم بين 0.815 و0.939، بمتوسط يقارب 0.89. وتشير هذه القيمة إلى تطابق جيد بين المضلع الناتج والمنطقة المصابة ضمن صور الاختبار المستخدمة.

مقارنة مع نموذج كشف تقليدي

لتوضيح الفرق بين النهجين، دُرّب نموذج YOLOv8 على مجموعة بيانات من 1800 صورة لأربع حالات (نخر الأسنان، فقدان العظم السنخي، الآفة حول الذروية، الكسور السنية)، مقسمة 70% تدريب و20% تحقق و10% اختبار، على 100 دورة تدريبية. وسجل النموذج دقة (Precision) بلغت 92.4%، واستدعاء 89.7%، وmAP@0.5 بلغ 93.1%، وmAP@0.5:0.95 بلغ 74.8%.

المعيار	YOLOv8 المحلي	النهج المقترح (VLM + SAM)
المخرجات	أسماء أمراض وصناديق تقريبية	تقرير عربي مفصل ومضلعات دقيقة
المرونة	محدود بالأمراض الأربعة المدرب عليها	يمكن إضافة أمراض بتعديل التعليمات
زمن الاستجابة	أقل من ثانية	عشرات الثواني
خصوصية البيانات	الصور تبقى على الجهاز	التجزئة محلية، والتحليل اللغوي سحابي

خلص المشروع إلى أن YOLO يتفوق في السرعة، بينما يقدم النهج المقترح فهمًا سياقيًا وتقارير نصية ودقة مكانية أعلى، وهو ما برر اختياره رغم طول زمن الاستجابة.

حدود النسخة الحالية

زمن التحليل الكامل يقارب دقيقة لكل صورة على المعالج المركزي، وأبطأ مراحله تشفير الصورة في SAM.
يعتمد تحليل VLM على خدمات سحابية واتصال مستقر بالإنترنت، ما يعني إرسال الصور إلى خوادم خارجية في هذه المرحلة.
قيم IoU مقيسة على عدد محدود من صور الاختبار، ولا تمثل تقييمًا سريريًا واسعًا.
المنصة أداة مساعدة، ولا تحل محل فحص الطبيب وقراره العلاجي.

تطويرات مستقبلية محتملة

بحسب الآفاق الواردة في المشروع، يمكن توسيع المنصة عبر:

تسريع تشفير الصورة من نحو 18.7 ثانية إلى ثانية أو ثانيتين باستخدام GPU مع CUDA، أو تسريع التشغيل على المعالج عبر ONNX Runtime، مع تخزين مؤقت للصور المتكررة.
دعم صور Panoramic X-ray وCBCT والتحليل ثلاثي الأبعاد.
ربط النموذج اللغوي بقواعد معرفة طبية عبر RAG للحد من الهلوسة.
إضافة صلاحيات حسب الدور (طبيب، موظف استقبال، مريض) وربط المنصة بالسجلات الطبية الإلكترونية.
توليد خرائط حرارية تفسيرية (XAI) توضح المناطق التي اعتمد عليها النموذج.
تطبيق للهواتف يتيح فحصًا أوليًا عبر الكاميرا ومشاركة النتائج مع الطبيب.

ملاحظة حول الخصوصية

تتعامل المنصة مع صور وبيانات صحية حساسة، لذلك يحتاج أي استخدام فعلي إلى موافقة المرضى، وضوابط واضحة لصلاحيات الوصول وفترة الاحتفاظ بالبيانات، ومراجعة لسياسة إرسال الصور إلى الخدمات السحابية.

هل تخطط لنظام مشابه؟

إذا كنت تعمل على نظام تشخيص طبي بالذكاء الاصطناعي وتحتاج إلى مساعدة تقنية في تطوير الفكرة أو بناء نموذج أولي، يمكن التواصل مع مكتب تكنو إنجاز لمناقشة متطلبات المشروع ونطاق الدعم المناسب.

الوسوم والكلمات المفتاحية:

#رؤية حاسوبية#VLM#SAM#React#Flask

الأسئلة الشائعة حول المشروع

ما هي منصة Smart Dent AI لتشخيص أمراض الأسنان؟

منصة ويب مساعدة لأطباء الأسنان تحلل الصور السريرية والشعاعية بنموذج لغوي رؤيوي مثل Gemini 3.1 Pro، وتولّد تقريرًا تشخيصيًا أوليًا بالعربية يحدد الحالات المرضية ومواقعها بترقيم FDI، ثم ترسم حدود كل إصابة بنموذج التجزئة SAM. نفذها فريق من الطلاب بمساعدة تقنية من مكتب تكنو إنجاز، ويبقى التشخيص النهائي من اختصاص الطبيب.

كيف يعمل النموذج اللغوي الرؤيوي مع نموذج SAM في المنصة؟

يعيد النموذج اللغوي الرؤيوي تقريرًا بصيغة JSON صارم يتضمن المرض ورقم السن والخطورة ودرجة الثقة والتوصية وصندوقًا تقريبيًا لكل إصابة. يمرَّر كل صندوق إلى SAM الذي يعمل محليًا على الخادم فينتج قناعًا دقيقًا، وتستخرج منه OpenCV مضلعًا يُرسم فوق الصورة وتُظلَّل الأسنان المصابة على خريطة FDI.

ما النتائج المقاسة لمنصة تشخيص الأسنان؟

بلغ متوسط دقة التجزئة بمقياس IoU نحو 0.89 على صور اختبار متنوعة (بين 0.815 و0.939). واستغرق التحليل الكامل لصورة نحو 58 إلى 60 ثانية على معالج Intel Core i5 دون معالج رسوميات، منها نحو 18.7 ثانية لتشفير الصورة في SAM و10 إلى 40 ثانية لاستدعاء Gemini.

لماذا لم يُعتمد YOLO وحده لتشخيص أمراض الأسنان؟

دُرّب YOLOv8 للمقارنة على 1800 صورة لأربع حالات وحقق Precision بنسبة 92.4% وmAP@0.5 بنسبة 93.1%، وهو أسرع بكثير. لكنه يعطي أسماء أمراض وصناديق تقريبية فقط، ويحتاج إعادة تدريب لإضافة أي مرض، بينما يقدم النهج المقترح تقارير عربية مفصلة ومضلعات دقيقة ويضيف أمراضًا بتعديل التعليمات فقط.

ما حدود منصة تشخيص الأسنان الحالية؟

يستغرق التحليل قرابة دقيقة لكل صورة على المعالج المركزي، ويعتمد تحليل النموذج اللغوي على خدمات سحابية تتطلب إرسال الصور إلى خوادم خارجية. كما أن قيم IoU مقيسة على عدد محدود من صور الاختبار وليست تقييمًا سريريًا واسعًا، والمنصة أداة مساعدة لا تحل محل الطبيب.

هل لديك فكرة أو متطلب هندسي مشابه؟

تواصل مع فريق تكنو إنجاز لمناقشة قابلية التنفيذ العملي، اختيار القطع، وتطوير النموذج الأولي.

تواصل مع المكتب