منصة الرسائل والاطاريح: تصنيف لغة الإشارة العربية على أساس تقنيات التعلم الالي

الخلاصة

لغة الإشارة هي لغة بصرية تستخدم مزيجًا من إيماءات اليد وتعبيرات الوجه ولغة الجسد لتوصيل المعنى. وفقًا لتقرير منظمة الصحة العالمية (WHO) ، وفقًا لإحصاءات عام 2021 ، يعاني ما يقرب من 13٪ من سكان العالم من شكل من أشكال فقدان السمع. وهذا يؤكد على أهمية رفع مستوى الوعي حول فقدان السمع ، وتعزيز تدابير الوقاية ، وضمان الوصول إلى خدمات الرعاية الصحية السمعية المناسبة. يعد التعرف على لغة الإشارة مجالًا معقدًا من البحث يطرح العديد من التحديات ، مثل الحركة السريعة للأيدي والأجساد التي يمكن أن تغير المعنى المقصود للإشارات ، فضلاً عن تداخل العلامات. يعد بناء نظام ترجمة للغة الإشارة العربية يعتمد على التعلم العميق هدفًا طموحًا وقيِّمًا. تُظهر طريقة الجمع بين التعلم الآلي والتعلم العميق نتائج واعدة في مجالات مختلفة ، بما في ذلك رؤية الكمبيوتر ومعالجة اللغة الطبيعية ، والتي يمكن الاستفادة منها في التعرف على لغة الإشارة. تم تنظيم مراحل العمل في الأطروحة الحالية لإنشاء نظام متكامل لتصنيف وتفسير لغة الإشارة العربية. المرحلة الأولى هي عملية جمع البيانات. يجب أن تتضمن العديد من المواقع المختلفة ومجموعة واسعة من العلامات والتعبيرات. يجب تصنيف هذه الصور أو مقاطع الفيديو المجمعة وتصنيفها لكل كلمة أو حرف. المرحلة الثانية هي المعالجة المسبقة. يتضمن ذلك تقسيم الإطار ، وتقليل الضوضاء ، وتحسين التباين ، وتحويل الصورة الملونة بتدرج الرمادي ، وتوحيد الحجم. المرحلة الثالثة هي مرحلة استخراج الميزة. هذه المرحلة هي الحصول على ميزات مهمة من الصور أو الفيديوهات. يتم ذلك باستخدام خوارزمية التحليل الخطي التمييزي (LDA) وخوارزمية فيولا وجونز ، حيث يتم استخدام LDA لاستخراج ميزات مهمة تتعلق باليد ، بينما يتم استخدام الخوارزمية الثانية لاستخراج ملامح الوجه وتعتبر خوارزميات لتحديد المنطقة المهمة في الصور. في المرحلة الرابعة ، يتم التركيز على تصميم وبناء نماذج قادرة على تصنيف العلامات أو الحركات. هناك خمسة نماذج رئيسية يمكن استخدامها لهذا الغرض: نموذج LDA-CNN لنموذج Alphabet الذي يجمع بين طريقة LDA وتقنية CNN أحادية البعد لإنتاج دقة وكفاءة ممتازين على حساب الوقت. هذا النموذج هو عملية للتعرف على علامة الحروف. يستخدم نموذج LDA-CNN الخاص بـ Word مزيجًا من خوارزمية LDA لاستخراج الميزات و CNN لتصنيف وتمييز إيماءات كلمات لغة الإشارة بناءً على الصور الديناميكية. يُستخدم LDA-ML الخاص بنموذج الأبجدية والكلمة لتصنيف الأبجدية والكلمات في لغة الإشارة. تم تنفيذ نموذج Face-CNN لاستخراج وتحديد الوجوه. أخيرًا ، يجمع Hybrid CNN-ML Word Model ، وهو النظام النهائي للأطروحة ، بين نموذج اكتشاف الوجه والدقة العالية للنموذج الأول والسرعة العالية للنموذج الثاني لإجراء مكالمة نهائية حول كيفية التعرف على الحركات الفريدة للغة الإشارة العربية وتصنيفها. . المرحلة الخامسة هي التدريب والتقييم. عادةً ما يتضمن تدريب نماذج التعلم العميق كمية كبيرة من مجموعة البيانات المصنفة. تنقسم مجموعة البيانات الخاصة إلى مجموعات التدريب والتحقق والاختبار. استخدام وظائف الخسارة المناسبة وتقنيات التحسين هو تدريب النموذج. نموذج الأبجدية LDA-CNN معدل دقة يبلغ 99.9٪ في تصنيف الحروف. وبالمثل ، فإن نموذج LDA-CNN Word يحقق دقة تصل إلى 98.9٪ في تصنيف الكلمات. من ناحية أخرى ، يتفوق نموذج Hybrid CNN-ML على كليهما بمعدل دقة أعلى يصل إلى 99.9٪ ، وكل ذلك مع الحفاظ على سرعة المعالجة الفعالة. تكمن أهمية هذا العمل في لغة الإشارة العربية في قدرتها على تحسين إمكانية الوصول والدمج والتواصل للأفراد الصم وضعاف السمع. من خلال تطوير تقنية التعرف على لغة الإشارة ، فإنها تساهم في كسر حواجز الاتصال وتعزيز المشاركة المتساوية في مختلف جوانب الحياة.