نظام الرسائل والاطاريح الجامعية/ المكتبة المركزية

صورة غلاف الرسالة/الاطروحة غير متوفرة
مشاهدة
لايوجد ملف
لايوجد ملف
العنوان باللغة العربية
منصة الرسائل والاطاريح: تصنيف العواطف بالاعتماد على الانماط المرئية والمسموعه باستخدام شبكات التعلم العميق - جامعة بابل
العنوان باللغة الانكليزية
Classifying Emotions Based on Visual and Audio Modalities Using Deep Learning Networks
اسم الطالب باللغتين
احمد صامت حاتم عبد الكريم - Ahmed Samit Hatem Abdul-Kareem
اسم المشرف باللغتين
عباس محسن البكري--Abbas Mohsen Al-Bakry
الخلاصة
تلعب العواطف دورًا رئيسيًا في العديد من جوانب حياتنا، وقد تؤثر أو حتى تحدد تفكيرنا وصنع القرار. يعد التعرف على المشاعر باستخدام البيانات متعددة الوسائط ، مثل الفيديو والصوت والنص وما إلى ذلك ، موضوعًا صعبًا ولكنه مجال بحث مهم استحوذ على الكثير من الاهتمام من الأكاديميين . في هذه الأطروحة تم تقديم نظام متعدد الوسائط للتعرف على المشاعر يعتمد على الطرائق المرئية والصوتية. بالنسبة للمسار المرئي، يتم تحديد عدد الإطارات الرئيسية من كل فيديو بالتسلسل . حيث تم تدريب ثلاثة نماذج من الشبكات العصبية التلافيفية (CNN) المدربة مسبقًا من خلال تغيير مصنفاتها باستخدام مصنف مقترح جديد واختيار الأفضل . يقوم هذا النموذج باستخراج الميزات المناسبة من البيانات المرئية وتصنيفها وفقا لسبع فئات عاطفية مع حالتي تدريب باستخدام قاعدتي بيانات هما AffectNet وقاعدة بيانات (RAVDESS). اما في المسار الصوتي ، تم تحديد ميزات مختلفة من الأجزاء الصوتية لتصنيفها بواسطة متعدد الطبقات (Multi-layer Perceptron) المقترح إلى سبع فئات من المشاعر. تعتمد نتائج النظام المقترح على طريقة دمج مستوى القرار للحصول على نتيجة الإخراج لكل من الطرائق المرئية والصوتية. يتم استخدام طريقة Ensemble decision للحصول على التنبؤ النهائي من قيم مخرجات المتنبئين المختلفين. تشير نتائج التجارب إلى أن الدقة في المسار البصري بلغت 98% لأفضل نموذج لقاعدة بيانات RAVDESS، في حين تم استخدام قاعدة بيانات AffectNet للتحقق من قابلية تعميم النموذج المقترح. وفي المسار الصوتي، حصل النموذج الأفضل على دقة قدرها 69% لقاعدة بيانات RAVDESS. تبلغ الدقة النهائية للنظام المقترح 99% بناءً على طريقة دمج قرارات المجموعة.
الفئة
المجموعة الطبية
الاختصاص باللغة العربية
الاختصاص باللغة الانكليزية
السنة الدراسية
2023
لغة الرسالة/الاطروحة
اللغة الانكليزية
الشهادة
دكتوراه
رابط موقع (doi)
Open access
نعم