منصة الرسائل والاطاريح: استرجاع الصور المعتمد على المحتوى القائم على النسيج والشكل باستخدام الشبكة العصبية العميقة

الخلاصة

في الآونة الأخيرة ، أصبح استخدام المعلومات الطبية في المستشفيات ضرورة لا غنى عنها ويتزايد بسرعة مع التزايد الكبير في عدد البيانات التصوير التشخيصية. لذا ظهرت الحاجة إلى تطوير نظم معلومات يساعد في الحصول على هذه المعلومات وجمعها وإدارتها ومعالجتها في مجاميع للبيانات المرتبة. يعد استرجاع الصور القائم على المحتوى (CBIR) أحد الأنظمة المهمة التي تم تصميمها للمساعدة في إدارة عملية استرداد الصور المماثلة للصورة المراد البحث عنها. اقترحت هذه الأطروحة نظام CBIR تلقائي يعتمد على العديد من الصفات المستخلصة التي يتم تتدرج من صفات منخفضة المستوى بما في ذلك الملمس والشكل والعلاقات الطوبولوجية وصولا إلى الصفات عالية المستوى المستخلصة باستخدام طرق التعلم العميق. ويشمل النظام المقترح ثلاث مراحل. المرحلة الأولى هي استخلاص ميزة الملمس التي تتكون من العديد من الخطوات. الخطوة الأولى هي اقتراح طريقة تكميم غير منتظمة لتحويل الصورة الرمادية إلى ثلاثة إصدارات من الصورة مع مستويات رمادية 16 و 32 و 64. تعتمد هذه الطريقة على الاختيار الأمثل لقيم العتبة مع مراعاة افضلية الـ PSNR بين الصورة الناتجة والصورة الاصلية. الطريقة تعتمد على إحدى خوارزميات برمجة الطماع وهي استراتيجية فرق تسد. تتضمن الخطوة الثانية إنشاء العديد من مصفوفات GLCMs للصور الثلاث المحددة كميا باستخدام ثلاث مسافات 1 و 2 و 3 ولاتجاهات سياق مختلفة. يتم تسطيح مصفوفات GLCMs الناتجة وتسلسلها ثم تقليصها باستخدام طريقة PCA للحصول على ثلاثة متجهات بأطوال مختلفة من المعلومات الإحصائية. تتضمن الخطوة الثالثة إدخال متجهات GLCMs الثلاثة إلى نموذج المقترح 1D CNN المتعدد المدخلات الذي يحتوي على ثلاثة خطوط أنابيب ذات معماريات مختلفة للحصول أخيرا على متجه واحد من الصفات لتمثيل الصورة. المرحلة الثانية هي استخلاص صفات الشكل والعلاقات الطوبولوجية. تتضمن هذه المرحلة اقتراح طبقة الالتفاف تستخدم توزيعا عشوائيا لبعض الأوزان المقيدة (المعاملات القابلة للتدريب) في الفلتر. تقع بشكل عشوائي في مواقع محددة مع مراعاة نسبة مئوية المحددة من قبل المستخدم. يتم تقديم هذه الطبقة لاستخلاص نوع خاص من الصفات مع مراعاة الشكل المحلي لصورة فرعية (نافذة) والعلاقات الطبولوجية بين بيكسلات المجموعة. يتم تنفيذ هذه الطبقة باستخدام نموذج CNN مقترح يستخدم طبقات الالتفاف المقترحة بالإضافة إلى طبقات CNN التقليدية. المرحلة الثالثة هي عملية استرجاع الصور. تتضمن هذه المرحلة استخلاص صفات الصور لمجموعة البيانات باستخدام المرحلتين السابقتين في مرحلة عدم الاتصال. بعد ذلك، تسلسل هذه الصفات في متجه واحد لكل صورة في مجموعة البيانات وتخزينها في قاعدة بيانات واحدة. أيضا ، في المرحلة عبر الإنترنت، استخلاص صفات صورة الاستعلام باستخدام نفس المرحلتين السابقتين. بعد ذلك ، يتم إجراء مطابقة التشابه بين الصفات في قاعدة البيانات وصفات الاستعلام لاسترجاع الصور المرتبة الاكثر مشابهة للاستعلام. في النتائج التجريبية ، تتفوق طريقة التكميم المقترحة على الطرق التقليدية الأخرى من حيث مقاييس PSNR و SSIM لمستويات رمادية مختلفة. يتم تنفيذ وتقييم نظام CBIR المقترح باستخدام ثلاثة أنواع من مجموعات البيانات الطبية المخصصة لمرض COVID-19 لكل منها على حدة. يتم تنفيذ نماذج 1D CNN و 2D CNNالمقترحة باستخدام مجموعات البيانات الثلاث هذه. تثبت النماذج كفاءة الصفات المستخلصة وتتفوق على DNNs المدربة مسبقا والطرق المطبقة حديثا. تحقق نماذج CNN المقترحة دقة تبلغ حوالي 98٪ و 89٪ و 93٪ لمجموعات البيانات الثلاث ، على التوالي. علاوة على ذلك ، يحصل نظام CBIR المقترح على نتائج فعالة ومقبولة ويحقق لأفضل 10 نتائج مسترجعة 99٪ و 94٪ و 93٪ من حيث مقياس mAP لمجموعات البيانات الثلاث ، على التوالي.