طراحی یک سیستم CAD برای شناسایی و طبقه‌بندی تومورهای سرطان سینه در تصاویر DCE-MR بر اساس شبکه‌های عصبی کانولوشن سلسله مراتبی

راستی بروجنی, رضا; تشنه لب, محمد; جعفری, رضا

تعداد نشریات	43
تعداد شماره‌ها	1,673
تعداد مقالات	13,658
تعداد مشاهده مقاله	31,619,928
تعداد دریافت فایل اصل مقاله	12,495,768

طراحی یک سیستم CAD برای شناسایی و طبقه‌بندی تومورهای سرطان سینه در تصاویر DCE-MR بر اساس شبکه‌های عصبی کانولوشن سلسله مراتبی

هوش محاسباتی در مهندسی برق

مقاله 1، دوره 6، شماره 1، خرداد 1394، صفحه 1-14 اصل مقاله (744.25 K)

نوع مقاله: مقاله پژوهشی فارسی

نویسندگان

رضا راستی بروجنی^* ¹؛ محمد تشنه لب²؛ رضا جعفری³

¹کارشناس ارشد مهندسی پزشکی- بیوالکتریک، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی خواجه نصیر

²- استاد گروه کنترل، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی خواجه نصیر الدین طوسی، تهران، ایران

³- استادیار گروه مهندسی پزشکی، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی خواجه نصیر الدین طوسی، تهران، ایران

چکیده

در این مقاله، یک سیستم
CAD بر اساس شبکه های عصبی کانولوشن سلسله‌مراتبی با ساختاری جدید، جهت ایجاد تمایز بین تومورهای خوش‌خیم و بدخیم در تصاویر MR سینه پیشنهاد شده است. شبکه‌ی عصبی کانولوشن، یک شبکه‌ی سلسله مراتبی عصبی است که بر روی تصاویر دو بعدی اعمال می‌شود و فرآیندهای استخراج ویژگی و طبقه‌بندی را در یک ساختار واحد و کاملاً تطبیقی، ادغام می‌کند. این ساختار می تواند ویژگی های دو بعدی کلیدی را به صورت خودکار استخراج نموده و نسبت به اعوجاجات هندسی و محلی در تصاویر ورودی مقاوم است. در ادامه، نتایج پیاده‌سازی فرآیندهای یادگیری و آزمایش HCNN بر اساس روش‌های بهینه‌سازی گرادیان نزولی و پس‌انتشار عدول‌شونده مورد ارزیابی قرار گرفته و نشان داده شده است که HCNN پیشنهادی با رویکرد یادگیری پس انتشار عدول‌شونده، یک ساختار عصبی سلسله مراتبی کارآمد و مقاوم را جهت طراحی یک سیستم CAD پایه در تصاویر MR سینه ارائه می‌کند بطوریکه از آن می‌توان بطور بالقوه، بعنوان یک مکانیسم برای ارزیابی انواع ناهنجاری‌ها در تصاویر پزشکی استفاده نمود.

کلیدواژه‌ها

سرطان سینه؛ تصویربرداری رزونانس مغناطیسی با کنتراست بهبودیافته؛ سیستم‌های تشخیص به کمک کامپیوتر؛ شبکه های عصبی کانولوشن سلسله مراتبی

اصل مقاله

سرطان سینه[1]، پس از سرطان ریه[2] دومین عامل مرگ و میر ناشی از سرطان و پس از سرطان پوست[3]، شایع‌ترین سرطان در میان بانوان است ]1[. شناسایی به موقع و زود هنگام سرطان سینه می‌تواند کمک شایانی در جلوگیری از پیشرفت و درمان این بیماری و معضلات ناشی از آن کند. در این بین ماموگرافی متداول‏ترین و تصویربرداری رزونانس مغناطیسی با کنتراست بهبودیافته، حساس‏ترین روش برای غربال‏گری زنان در معرض خطر بالا[4] است ]2[. از آنجا که تصویربرداری MRI دارای حساسیت و تفکیک‌پذیری بالایی در بافت‌های چگال سینه است، یک روش ارزشمند تشخیصی در مورد سرطان سینه خواهد بود.

در اوایل دهه 90 میلادی، پژوهشگران در مطالعات خود نشان دادند چنانچه بتوانند از یک ساختار هوشمند بر پایه شبکه‎‌های عصبی مصنوعی[5] برای شناسایی و طبقه‌بندی ناهنجاری‌ها در تصاویر پزشکی استفاده کنند، نه تنها نرخ بازشناسی بالاتر می‏رود، بلکه تشخیص‌های [6]FP کمتری نسبت به روش‌های پردازش تصویر صرف در مسائل یکسان، حاصل می‏شود ]3- 5[.

در سیستم‌های CAD بر مبنای شبکه‌های عصبی متداول برای شناسایی ناهنجاری‌های پزشکی، پس از پیش‌پردازش‌های لازم، در ابتدایی‌ترین گام، پس از انتخاب ناحیه مورد نظر[7]، از تصویر پزشکی با احتمال حضور بیشتر ناهنجاری، ویژگی‌‌های کلیدی از ROIها، استخراج می‌شود. به این گام، مرحله استخراج ویژگی[8] گفته می‌شود. در این مرحله تلاش می‌شود تا مجموعه‌ای از ویژگی‏های کلیدی برای تمیز بین کلاس‌های تصویر مد نظر از تصویر اصلی انتخاب شود. در مرحله بعدی، برداری از ویژگی‌های یک‌بعدی به ازای هر تصویر به عنوان ورودی و یک خروجی مطلوب بر اساس کلاس همان تصویر به ساختار شبکه عصبی اعمال می‌شوند‏ و در نهایت، شبکه بر اساس فرآیند آموزش خود، کلاس هر تصویر را یاد می‌گیرد. به این نوع از شبکه‌های عصبی که ورودی آن‌ها بر مبنای ویژگی‌های استخراج شده تعریف می‌گردد، شبکه‌های عصبی ویژگی محور[9] گفته می‌شود ]7[.

نکته‌ای که در اینجا مطرح است، چگونگی تعیین تعداد ویژگی‌ها و میزان اهمیت و تأثیر آن‌ها در قدرت تشخیصی سیستم است. از سویی برخی از ویژگی‌ها به طور ضمنی با یکدیگر همبستگی دارند و می‌توانند نوعی پیچیدگی غیر ضروری در حل مسأله ایجاد کنند (over-fitting). در شبکه‌های عصبی ویژگی محور آن‏چه مسلم است، این است که هر گونه کاستی یا افزونگی در مراحل استخراج ویژگی و یا طراحی ساختار شبکه عصبی، به شدت بر روی کارایی سیستم عصبی از لحاظ درستی و حساسیت عملکرد سیستم هوشمند تأثیرگذار است. برای مثال از این دسته از روش‌ها می‌توان به مرجع ]8[ اشاره کرد که در آن از ترکیب‌ سه نوع ویژگی مختلف برای تفکیک خوش‌خیمی و بدخیمی داده‌ها برای رسیدن به بهترین نرخ طبقه‌بندی استفاده شده است. سه نوع ویژگی از داده‌ها معرفی و استفاده شده‌اند که عبارتند از: دسته اول- ویژگی‌های شکلی (شامل حجم، سطح ناحیه، فشردگی، میانگین طول شعاعی نرمالیزه شده[10]، کروی بودن، آنتروپی NRL، نسبت NRL و ناهمواری[11])، دسته دوم- ویژگی‌های بافتی (انرژی، ماکزیمم احتمال، کنتراست، همگنی[12]، آنتروپی، کورولیشن، مجموع میانگین، مجموع واریانس، تقاضل میانگین، تفاضل واریانس) و دسته سوم- دو ویژگی‌ جنبشی از میزان جذب کنتراست است. این پژوهش توانسته است در نهایت، با ترکیب خاصی از ویژگی‌ها برای طبقه‌بندی تصاویر MR پایگاه داده‌ای خود به حساسیت[13] 86 درصد، خصوصیت[14] 72 درصد، دقت[15] 87 درصد و سطح زیر منحنی[16][17]ROC برابر 86/0 دست یابد.

دسته دیگری از شبکه‌های عصبی تعریف می‌شوند که ورودی آن‌ها خود تصاویر هستند. بدین معنا که قبل از اعمال تصاویر به شبکه، مرحله استخراج ویژگی‌های اسکالر وجود ندارد و تصاویر به طور مستقیم و احتمالاً پس از یک پیش‌پردازش اولیه، به شبکه اعمال می‌شوند. به این دسته از شبکه‌های عصبی، شبکه‌های عصبی تصویر محور[18] می‌گوییم]7[.

در سیستم‌های CAD بر مبنای شبکه‌های عصبی تصویر محور، تکیه‌ی اصلی بر اعمال تصویر ROI به طور مستقیم به عنوان ورودی شبکه عصبی است. حال این شبکه عصبی است که باید بر اساس فیلترهای عصبی (کرنل) آموزش‌پذیر دو بعدی خود، به شکل‏ خودکار و طی فرآیند آموزش شبکه، ویژگی‌های کارآمد و اساسی تصاویر را بر مبنای ایجاد تمایز بین کلاس‌های مختلف یاد بگیرد ]9 و 10[.

برای مثال در مرجع ]5[ یک ساختار بسیار ساده از این نوع از شبکه‌های عصبی با تصویر ورودی 16×16 پیکسلی طراحی و برای طبقه‌بندی بافت توده از بافت عادی سینه در تصاویر ماموگرافی استفاده شده است. نواحی مد نظر[19] در این مقاله 256×256 اختیار شده و به کمک میانگین‌گیری و استخراج ویژگی‌های دو بعدی SGLD[20] و [21]GLDS و ساخت تصویر ورودی 16×16 پیکسلی توانسته است در بهترین حالت به AUC برابر 87/0 برای ROC طبقه‌بندی دست یابد.

یکی از بهترین ساختارهای عصبی توسعه یافته بر پایه شبکه‌های عصبی تصویر محور، که در مدل‏سازی ویژگی‏های بینایی مهره‌داران قابلیت و کارآمدی بیشتری از خود به نمایش گذاشته است، ساختار شبکه‌های عصبی کانولوشن[22] است.

ساختار کنونی شبکه‌های عصبی کانولوشن، نخستین بار توسط Lecun در سال 1998 میلادی برای شناسایی اسناد مطرح و استفاده شد و بعدها توسط خود Lecun مدل‌های بهبود یافته آن منتشر شد‏ ]10- 12[. هدف از طراحی شبکه‌های عصبی کانولوشن، مدل‏سازی دقیق از نحوه عملکرد سیستم بینایی انسان و ارتباط آن با ناحیه بینایی مغز است که وظیفه استخراج خودکار ویژگی‌های کلیدی، یادگیری تصاویر در یک ساختار عصبی مجتمع و همچنین، حذف افزونگی‌های احتمالی را بر عهده دارد.

هدف از این پژوهش، طراحی، پیاده‌سازی و بهبود ساختارهایی از نوع شبکه‌ها‌ی عصبی کانولوشن برای طبقه‌بندی تومورهای خوش‌خیم و بدخیم در تصاویر MR سینه است. در شکل (1)، مراحل سیستم CAD پیشنهادی در قالب بلوک ‌دیاگرام نمایش داده شده است.

شکل (1): بلوک ‌دیاگرام مراحل سیستم CAD پیشنهادی

داده‌های به‏کار رفته در این مقاله، تصاویر MR واقعی اخذ شده در بیمارستان میلاد تهران است. این داده‌ها مربوط به 30 بیمار زن است که 4 مورد آن بدخیم و 26 مورد دیگر خوش‌خیم هستند.

در این پژوهش‏ از یک سیستم MRI 5/1 تسلای شرکت زیمنس با ماتریس تصویر اصلی 512×512، 340×340[23]FOV=پیکسلی و زمان تصویر سازی 448 ثانیه‌ای برای تصویرسازی از نماهای محوری[24] و ساژیتال[25] استفاده شد.

به ازای هر بیمار در مد تصویربرداری T1-Weighted، 26 اخذ تصویر هر یک با متوسط تعداد 128 اسلایس سینه، در دسترس است.

به ازای اسلایس‌‌های منتخب از هر مورد، مراحل پیش‌پردازش و انتخاب ROI انجام گرفته و مجموعه‌ای از ROIها در دو کلاس خوش‌خیم و بدخیم در دست است. نتایج خوش‌خیمی و بدخیمی هر توده، بر اساس نظر پزشک بیمارستان میلاد لحاظ شده‌اند.

2- تصاویر MR و انتخاب ROI

برای استخراج [26]ROI مناسب، عملیات پیش‌پردازش[27] در قالب بلوک دیاگرام شکل (2) بر روی هر یک از تصاویر MR سینه انجام شد. در این بلوک دیاگرام داده‌های خام، تصاویر MRI تولید شده توسط نرم افزار واسط کاربر شرکت زیمنس با ابعاد 676×1012 پیکسلی هستند و تصاویر ROI خروجی دارای ابعاد 64×64 پیکسل است.

شکل (2): فرآیند پیش‌پردازش و استخراج ROI از هر تصویر MR سینه

در مرحله پیش‌پردازش، شدت کنتراست هر تصویر MR سینه به کمک نگاشت[28]محدوده روشنایی آن تصویر به مقادیر جدید، بهبود داده می‌شود. سپس، به کمک عملیات باز کردن مورفولوژیک[29]، تخمینی از تصویر پس‌زمینه به دست می‌آید. با تفریق تصویر پس‌زمینه از تصویر اولیه، تصویری با کاهش پس‌زمینه حاصل می‌شود. شکل (3) یک اسلایس محوری MR اولیه را که حاوی تومور است، نشان می‌دهد.

در شکل (4) تصویر، پس از بهبود کنتراست و حذف پس زمینه نشان داده شده است.

شکل (3): تصویر MR اولیه

شکل (4): تصویر MR پس از بهبود کنتراست و حذف پس‌زمینه

در مرحله قطعه‌بندی تصویر[30]، ابتدا از یک مقدار آستانه روشنایی استفاده می‌شود که در آن، چنانچه شدت روشنایی پیکسلی از حد آستانه کمتر باشد، مقدار روشنایی آن پیکسل صفر می‌شود. سپس، به کمک روش برچسب زدن اجزای متصل[31]، اجزای پیوسته در تصویر برچسب‏گذاری می‌شوند. در ادامه از توصیف‌گر ناحیه‌ای[32] مساحت، برای انتخاب ناحیه‌ای از تصویر که احتمال وجود توده در آن بیشتر است؛ استفاده می‌شود. زیرا در تصاویر MR سینه، توده‌ها دارای شدت روشنایی بیشتری نسبت به سایر بافت‌های سینه هستند.

در گام بعدی یک بلوک مربعی به عنوان ROI که در بردارنده ناحیه یاد شده از تصویر حذف پس‌زمینه شده، انتخاب می‌شود. بدین منظور به کمک یک الگوریتم خودکار ابتدا موقعیت‌های مکانی کوچک‏ترین کادر مستطیلی در بردارنده توده و همچنین، مرکز ثقل توده به دست می‌آید. سپس، مربعی به ابعاد بزرگترین بعد کادر مستطیلی و به مرکز مختصات ثقل توده، به عنوان ROI از تصویر کاهش‌یافته، جدا می‌شود. در شکل (5) نتیجه پردازش این مرحله برای یک تصویر MR نمونه، نمایش داده شده است.

شکل (5): ROI استخراج شده از تصویر MR

با توجه به ابعاد تومورها در داده‌های موجود، اندازه 64×64 پیکسل برای ROIها در نظر گرفته می‌شود. در نهایت، از آن‏جا که ورودی شبکه عصبی کانولوشن مد نظر دارای ابعاد32×32 پیکسل است، ROI‌ها به کمک بلوک‌های میانگین‌گیر غیرهمپوشان 2×2، به ابعاد 32×32 پیکسل تغییر اندازه پیدا می‏کنند. به ازای هر کلاس خوشخیم و بدخیم، 120 نمونه ROI حاوی توده از تصاویر MR اولیه انتخاب شد. با توجه به ماهیت شبکه‌های عصبی کانولوشن و برای تعمیم بهتر مسأله، از چرخش‌های 15، 30 و 45 درجه‌ای و همچنین، از معکوس آینه‌وار هر ROI نیز بهره برده شد تا مجموعه‌ای از 600 نمونه ROI به ازای هر کلاس به‏دست آید. در این نوع از چرخش‌ها، تنها موقعیت پیکسل‌ها جابه‏جا می‌شود و مقدار آن‌ها هیچ تغییری نمی‌کند. از این طریق می‌توان به داده‌های معتبر آموزشی بیشتری دست یافت ]5[

در نهایت، از 80 درصد تصاویر ROI که شامل 960 نمونه خوش‌خیم و بدخیم است، برای آموزش شبکه و از 20 درصد مابقی داده‌ها که شامل 240 نمونه خوش‌خیم و بدخیم است، برای ارزیابی شبکه استفاده می‌شود.

3- شبکه عصبی کانولوشن پیشنهادی

یک شبکه عصبی کانولوشن شامل 3 نوع لایه مختلف است: لایه‌های کانولوشن[33]، لایه‌های نمونه‌برداری جزئی[34] و لایه خروجی[35]. لایه‌های شبکه در یک ساختار پیشرو منظم می‌شوند. هر لایه کانولوشن توسط یک لایه نمونه‌برداری جزئی دنبال شده و پس از آخرین لایه کانولوشن، لایه خروجی قرار می‌گیرد.

لایه‌های کانولوشن و نمونه‌برداری جزئی لایه‌هایی دو بعدی هستند؛ در حالی که لایه خروجی به شکل‏ یک بعدی در نظر گرفته می‌شود. در CNN، هر لایه دو بعدی از چندین صفحه[36] تشکیل می‌شود که هر صفحه در واقع یک آرایه دو بعدی از نرون‌هاست. خروجی هر صفحه یک نقشه ویژگی[37] نامیده می‌شود.

3-1- مدل ریاضی لایه‌های مختلف CNN

3-1-1- لایه کانولوشن

اگر اندیس لایه شبکه باشد، تعداد نقشه‌های ویژگی لایه‌ای ام و تابع فعال‏ساز لایه ام است. برای لایه ‌ ام کانولوشن، اندازه ماسک به شکل‏ تعریف می‌شود.

در شکل (7) بلوک دیاگرام لایه کانولوشن ام نشان داده شده است.

شکل (6): بلوک دیاگرام لایه‌ی ام کانولوشن.

را ماسک کانولوشن مربوط به اتصال نقشه ویژگی ام در لایه‌ به نقشه ویژگی ام در لایه ،
را جمله بایاس نقشه ویژگی ام و
را مجموعه‌ای از صفحات در لایه که به نقشه ویژگی ام در لایه متصل‌اند؛ تعریف می‌کنیم.

با توجه به تعاریف بالا، نقشه ویژگی از لایه کانولوشن به شکل‏ زیر محاسبه می‌شود:

(1)

علامت عملگر کانولوشن دوبعدی بدون افزودن صفر[38]یا عملگر ماسک است.

3-1-2- لایه‌ نمونه‌برداری جزئی

در این ساختار از شبکه‌های CNN، اندیس‌های مربوط به این لایه‌های نمونه‌برداری جزئی، زوج است. را وزن متناظر با نقشه‌ ویژگی ام در لایه نمونه‌برداری و جمله بایاس تعریف می‌شود.در شکل (7) لایه نمونه‌برداری جزئی ام نشان داده شده است.

شکل (7): بلوک دیاگرام لایه‌ی‌ ام نمونه‌برداری جزئی

در این لایه، نقشه ویژگی ام از لایه کانولوشن به بلوک‌های غیر همپوشان 2×2 پیکسلی تقسیم می‌شود. ماتریسی است که از میانگین‌گیری چهار پیکسل در هر بلوک 2×2 حاصل می‌شود.

	(2)
	(3)

نقشه ویژگی لایه نمونه‌برداری ام چنین محاسبه می‌شود:

(4)

3-1-3- لایه خروجی

لایه خروجی L دارای نرون‌هایی از نوع سیگموئید است. تعداد نرون‌ها، وزن بین نقشه ویژگی ام از آخرین لایه کانولوشن با نرون ام از لایه خروجی و جمله بایاس مربوط به نرون ام از لایه است. خروجی نرون سیگموئیدی ام در لایه خروجی به شکل‏ زیر محاسبه می‌شود:

(5)

در شکل (8) بلوک دیاگرام لایه خروجی با دو نرون که معرف تعداد طبقات مورد نیاز است، نمایش داده شده است. در حقیقت لایه خروجی یک پرسپترون ساده است که وظیفه طبقه‌بندی داده‌ها را بر اساس ویژگی‌های اسکالر تولید شده در آخرین لایه کانولوشن، بر عهده دارد.

شکل (8): بلوک دیاگرام لایه خروجی شبکه CNN

3-2- آموزش شبکه‌ عصبی کانولوشن

روش آموزش مورد استفاده در ساختار پیشنهادی، روش آموزش همراه با سرپرست[39] است. چنانچه تصویر ورودی و بردار خروجی مطلوب مفروض بوده و اگر و به ترتیب -امین تصویر در مجموعه آموزش و -امین بردار خروجی مطلوب متناظر و خروجی واقعی باشد، تابع خطا به شکل‏ زیر تعریف می‌شود:

(6)

رابطه (6)، بر اساس خطای کل ورودی‌ها عمل می‌کند. آموزش به این طریق، آموزش دسته‌ای[40]نامیده می‌شود.

3-3- محاسبه گرادیان خطای شبکه CNN

گرادیان خطا از طریق محاسبه حساسیت‌های خطا به دست می‌آید که به شکل‏ مشتق جزئی تابع خطا نسبت به ورودی جمع وزن‌دار به یک نرون، تعریف می‌شود. می‌توان برای ساختار شبکه کانولوشن شکل (9) که دارای 6 لایه فعال است، روابط گرادیان را محاسبه کرد.

شکل (9): ساختار شبکه کانولوشن نمونه با 6 لایه فعال

در ساختار بالا، حرف بیانگر لایه کانولوشن و مشخص کننده لایه نمونه‌برداری جزئی است.

3-3-1- تعریف حساسیت خطا

برای نرون در نقشه ویژگی nام در لایه ، حساسیت خطا به شکل‏ زیر محاسبه می‌شود:

(7)

3-3-1-1- محاسبه‌ حساسیت‌ها و گرادیان‌های خطا برای لایه‌های مختلف

لایه خروجی :

برای نقشه ویژگی خروجی و ورودی تصویر kام می‌توان خطای محلی را به‏ شکل‏ زیر نوشت:

(8)

در رابطه بالا مشتق تابع فعال‌ساز نرون‌های لایه‌ 6ام هستند. شایان ذکر است تعداد نقشه‌های ویژگی لایه خروجی یا همان تعداد خروجی‌های نهایی شبکه است که در ساختار شکل (6) مقدار می‌باشد. خطای نیز به شکل‏ زیر تعریف می‌شود:

(9)

که در آن و به ترتیب خروجی‌های مطلوب و واقعی شبکه هستند. گرادیان خطا برای محاسبه وزن‌ها و بایاس‌ها بر اساس آموزش دسته‌ای تصویر ورودی، عبارت است از:

(10)

که در رابطه بالا و می‌باشند.

(11)

مقدار متغیر بایاس لایه خروجی است.

لایه کانولوشن آخر :

	(12)
	(13)

در رابطه فوق، کرنل وزن نقشه ویژگی ام در لایه 5 و نقشه ویژگی ام در لایه 4 است.

(14)

لایه نمونه‌برداری آخر :

(15)

منظور از ، و به ترتیب ماتریس‌های حساسیت خطا، کرنل‌های وزنی و ماتریس مجموع وزن‌دار مربوطه به نقشه‌های ویژگی لایه است. برای گرادیان خطا در این لایه داریم:

(16)

عملگر همان عملیات ماسک یا کانولوشن بدون افزودن صفر است. در عبارت بالا، وزن هر اتصال، ماتریس خطای محلی آن اتصال و ماتریس کاهش بعد یافته با فاکتور 2 از نقشه ویژگی است.

(17)

لایه کانولوشن :

(18)

تابع عملیات دو برابر کردن ابعاد ماتریس به روش تکرار بلوکی عناصر را بر عهده دارد. در این تابع از بلوک‌های تکرار 2×2 بهره گرفته می‌شود.

گرادیان خطا به شکل‏ زیر در این لایه به دست می‌آیند:

	(19)
	(20)

لایه نمونه‌برداری :

(21)

عملگر همان عملگر متداول کانولوشن دو بعدی است. مجموعه ، معرف کرنل‌های وزن مابین لایه‌ها و است که بر اساس نوع اتصالات تعریف می‌شوند. گرادیان‌های خطا به شکل‏ زیر خواهند بود:

	(22)
	(23)

لایه کانولوشن :

(24)

ورودی این لایه، تصویر است. در این لایه روابط گرادیان خطا به شکل‏ زیر محاسبه می‌شوند‏:

	(25)
	(26)

3-4- الگوریتم‌‌های آموزشی CNN

پس از محاسبه گرادیان خطا برای وزن‌ها و بایاس‌ها، می‌توان از الگوریتم‌های بهینه‌سازی مختلفی برای حداقل کردن خطا و آموزش شبکه کمک گرفت.

در این نوشتار از روش‌های بهینه‌سازی مرتبه اول گرادیان نزولی و پس‌انتشار عدول‌شونده[41] برای اصلاح شاخص‏های آزاد شبکه‌ عصبی کانولوشن استفاده شده است. در جدول (1) الگوریتم‌های آموزشی مورد استفاده، معرفی شده‌اند.

جدول (1): الگوریتم‌های آموزشی مورد استفاده برای شبکه کانولوشن پیشنهادی

روش بهینه‌سازی

الگوریتم اصلاح شاخص‏ها

گرادیان نزولی (GD)

وزن‌ها و بایاس طبق رابطه دلتا به شکل‏ زیر اصلاح می‌شوند:

و نرخ‌های آموزشی اسکالر و همواره مثبت

پس‌انتشار عدول‌شونده (RPROP)

اصلاح شاخص‏ها بر اساس علامت گرادیان:

که گام تطبیق پذیر مربوط به وزن است و به شکل‏ زیر تعریف می‌شود:

به ترتیب گامهای کاهشی و افزایشی هستند و . [13] ‌

3-5-معیار ارزیابی یک طبقه‌بند

یکی از معیارهای متداول در ارزیابی و سنجش توانایی طبقه‌بندها، میزان تفکیک یا دقت طبقه‌بند در جداسازی و تفکیک کلاس‌های مسأله است. در زمینه تشخیص‌های پزشکی دو معیار حساسیت و خصوصیت طبقه‌بندها، نیز تعریف می‌شوند‏.

پیش از ارایه‏ روابط معیارهای بالا، معرفی چند حالت تشخیصی ضروری به نظر می‌رسد:

درست مثبت (TP) [42]؛ شخص بیمار بوده و طبقه‌بند، وی را به درستی بیمار تشخیص می‌دهد.
درست منفی (TN) [43]؛ شخص سالم بوده و طبقه‌بند، وی را به درستی سالم تشخیص می‌دهد.
اشتباه مثبت (FP) [44]؛ شخص سالم بوده و طبقه‌بند، وی را به اشتباه بیمار تشخیص می‌دهد.
اشتباه منفی (FN) [45]؛ شخص بیمار بوده و طبقه‌بند، وی را به اشتباه سالم تشخیص می‌دهد.

بر اساس تعاریف بالا، می‌توان روابط حاکم بر معیارهای ارزیابی یک طبقه‌بند را در مسائل تشخیص پزشکی به شکل‏ زیر ارایه‏ کرد ]14[:

1) دقت:

(27)

2) حساسیت:

(28)

3) خصوصیت:

(29)

4- نتایج شبیه‌سازی

4-1- شبیه‌سازی بر اساس استخراج ویژگی و طبقه‌بندی شبکه عصبی پرسپترون چند لایه

برای به دست آوردن یک معیار برای ارزیابی عملکرد شبکه‌های کانولوشن، از روش متداول استخراج ویژگی‌ها و سپس، طبقه بندی به کمک (یک شبکه عصبی ویژگی محور) MLP استفاده شد. بر این اساس، به ازای هر یک از ROIهای انتخاب شده، پنج ویژگی کارآمد‌ شکلی (کروی بودن، وجود خار[46]، آنتروپی NRL، نسبت NRL و ناهمواری) و پنج ویژگی بافتی کارآمد (گشتاور زاویه‌ای مرتبه دوم[47]، مجموع آنتروپی، کورولیشن، مجموع میانگین و مجموع واریانس) انتخاب و استخراج شدند ]15- 18[. این 10 ویژگی به شکل‏ یک بردار به ازای هر یک از ROIها به شبکه MLP سه لایه با اتصالات کامل و توابع فعال‏ساز سیگموئیدی اعمال شدند. از 80 درصد داده‌ها برای آموزش به روش Levenberg-Marquardt (LM)، از 10 درصد برای اعتبار بخشی و از 10 درصد باقیمانده برای آزمون شبکه عصبی بهره برده شد. جزئیات و نتایج در جدول‏های (2) و (3) نشان داده شده‌اند.

جدول (2): جزئیات ساختار MLP

ساختار	گره ورودی	گره پنهان	گره خروجی
MLP	10	20	2	001/0	1/0	10

جدول (3): نتایج طبقه‌بندی ساختار MLP در مرحله آزمون

Test samples	TP	TN	FP	FN	Se%	Sp%	Acc%
120	55	52	7	6	16/90	14/88	17/89

4-2- شبیه‌سازی براساس ساختار کانولوشن پیشنهادی

در زیر نتایج شبیه‌سازی بر اساس نوع فرآیند آموزش ساختار شبکه عصبی کانولوشن، در قالب دو مرحله ارائه‏ شده است. در گام اول از الگوریتم آموزشی گرادیان نزولی و در گام دوم از پس‌انتشار عدول شونده استفاده و نتایج با یکدیگر مقایسه شده‌اند. برای ارزیابی عملکرد ساختار پیشنهادی، از توابع فعال‏ساز خطی یا سیگموئیدی و همچنین، از تعداد نقشه‌های ویژگی متنوعی در لایه‌های مختلف بهره برده شد که نتایج نمونه‌هایی از کارآمدترین شبکه‌ها در جدول‏های (4) و (5) و (6) گزارش شد‏ه‌ است.

در این مرحله از 80 درصد داده‌ها برای آموزش و از مابقی برای ارزیابی ساختارها استفاده شده است.

رایانه مورد استفاده برای انجام شبیه‌سازی‌ها، دارای پردازنده دو هسته‌ای 5/2 گیگا هرتزی، حافظه اصلی 4 گیگا بایتی و سیستم عامل ویندوز هفت 64 بیتی است.

4-3- نتایج شبیه‌سازی بر اساس گرادیان نزولی

در جدول (4)، (2) نمونه شبکه عصبی کانولوشن بر اساس ساختار پیشنهادی و روش آموزش گرادیان نزولی معرفی می‌شوند‏.

تفاوت ساختارهای CNN1 و CNN2 در تابع فعال‌ساز لایه‌های نمونه‌بردار جزئی است.

جدول (4): جزئیات ساختارهای CNN1 و CNN2

نام ساختار عصبی

تعداد نقشه‏های ویژگی در هر لایه

اندازه نقشه‏های ویژگی در هر لایه

اندازه کرنل آموزش پذیر در هر لایه

نوع اتصالات لایه‌ی

نوع اتصالات لایه های

توابع فعال ساز لایه‏های کانولوشن

توابع فعال ساز لایه‏های نمونه‌بردار جزئی

نوع آموزش پارامترها

CNN1

1-7-7-7-3-3

28×28-14×14-12×12-6×6-1×1

5×5-1×1-3×3-1×1-6×6-1×1

3-1

1-1

سیگموئید

خطی

CNN2

1-7-7-7-3-3

28×28-14×14-12×12-6×6-1×1

5×5-1×1-3×3-1×1-6×6-1×1

3-1

1-1

سیگموئید

جدول (5): نتایج طبقه‌بندی CNN1 در مرحله آزمون

CNN1		Test samples	TP	TN	FP	FN	Se%	Sp%	Acc%
آزمایش 1	1/0	240	105	105	15	15	50/87	50/87	50/87
آزمایش 2	05/0	240	96	112	8	24	00/80	33/93	67/86

جدول (6): مقایسه درستی طبقه‌بندی CNN1 در مراحل آموزش و آزمون

CNN1	Epoch	LearningTime	Train Acc ate%	Test Acc rate%
آزمایش 1	500	min 37	04/96	50/87
آزمایش 2	500	min 37	58/89	67/86

بهترین عملکرد CNN1 به ازای نرخ آموزشی 1/0 برای وزن‌ها و بایاس‌ها به‏دست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت، خصوصیت و درستی برابر 50/87 درصد در مرحله آزمون است.

منحنی اصلاح خطای MSE در این حالت، در شکل (10) نمایش داده شده است.

در جدول‏های (7) و (8) نیز نتایج شبیه‌سازی شبکه CNN2 ارایه‏ شده‌اند.

شکل (10): منحنی خطا در آموزش ساختار CNN1 و آزمایش1

جدول (7): نتایج طبقه‌بندی CNN2 در مرحله آزمون

CNN2		Test samples	TP	TN	FP	FN	Se%	Sp%	Acc%
آزمایش 1	1/0	240	104	110	10	16	67/86	67/91	17/89
آزمایش 2	05/0	240	115	114	6	5	83/95	00/95	42/95

جدول (8): مقایسه درستی طبقه‌بندی CNN2 در مراحل آموزش و آزمون

CNN2	Epoch	Learning Time	Train Acc rate%	Test Acc rate%
آزمایش 1	500	35min	44/93	17/89
آزمایش 2	500	35min	96/98	42/95

بهترین عملکرد CNN2 به ازای نرخ آموزشی 05/0 برای وزن‌ها و بایاس‌ها به دست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت 83/95 درصد، برای خصوصیت 95 درصد و برای درستی برابر 42/95 درصد در مرحله آزمون است. شکل (11)، نحوه اصلاح خطا را در هر Epoch نشان می‌دهد.

شکل (11): منحنی خطا در آموزش ساختار CNN2 و آزمایش 2

عملکرد ساختار CNN2 به علت استفاده از توابع فعال‌ساز سیگموئیدی برای لایه‌های نمونه‌بردار جزئی بهتر از عملکرد CNN1 ارزیابی می‌شود.

4-4- نتایج شبیه سازی بر اساس پس‌انتشار عدول‌ شونده

روش آموزش پس‌انتشار عدول‌شونده یکی از الگوریتم‌های بهینه‌سازی مرتبه اول است و دارای این قابلیت است که حتی در گرادیان‌های بسیار کوچک خطا، به خوبی عمل می‌کند و از این لحاظ بسیار قوی‌تر از آموزش گرادیان نزولی است.

در جدول (9)، (2) نمونه شبکه عصبی کانولوشن بر اساس ساختار پیشنهادی و روش آموزش پس‌انتشار عدول‌شونده معرفی می‌شوند‏. تفاوت ساختارهای CNN3 و CNN4 در تابع فعال‌ساز لایه‌های نمونه‌بردار جزئی است.

جدول (9): جزئیات ساختارهای CNN3 و CNN4

نام ساختار عصبی

تعداد نقشه‌های ویژگی در هر لایه

اندازه نقشه‏های ویژگی در هر لایه

اندازه کرنل آموزش‏پذیر در هر لایه

نوع اتصالات لایه‌

نوع اتصالات لایه‏های

توابع فعال ساز لایه‏های کانولوشن

توابع فعال‌ساز لایه‌های نمونه‌بردار جزئی

نوع آموزش شاخص‏‏ها

CNN3

1-7-7-7-3-3

28×28-14×14-12×12-6×6-1×1

5×5-1×1-3×3-1×1-6×6-1×1

3-1

1-1

سیگموئید

خطی

RPROP

CNN4

1-7-7-7-3-3

28×28-14×14-12×12-6×6-1×1

5×5-1×1-3×3-1×1-6×6-1×1

3-1

1-1

سیگموئید

RPROP

جدول (10): نتایج طبقه‌بندی CNN3 در مرحله آزمون

CNN 3		Test Samples	TP	TN	FP	FN	Se%	Sp%	Acc%
آزمایش 1	005/1 – 995/0	240	115	116	4	5	83/95	67/96	25/96
آزمایش 2	01/1 – 99/0	240	116	120	0	4	67/96	100	33/98
آزمایش 3	05/1 – 95/0	240	117	117	3	3	50/97	50/97	50/97

جدول (11): مقایسه درستی طبقه‌بندی CNN3 در مراحل آموزش و آزمون

CNN 3	Epoch	Learning Time	Train Acc rate%	Test Acc rate%
آزمایش 1	300	min 28	79/99	08/97
آزمایش 2	300	min 28	79/99	33/98
آزمایش 3	300	min 28	100	50/97

بهترین عملکرد CNN3 به ازای نرخ افزایشی 01/1 و نرخ کاهشی 99/0 برای وزن‌ها و بایاس‌ها به‏دست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت 67/96 درصد، برای خصوصیت 100 درصد و برای درستی برابر 33/98 درصد در مرحله آزمون است.

نکته مهمی که در نتیجه این حالت وجود دارد، صفر بودن مقدار FP است زیرا در سیستم‌های CAD پزشکی، صفر بودن مقدار FP بسیار با اهمیت است.

منحنی اصلاح خطای MSE در CNN3 برای حالت بهینه، در شکل (12) نمایش داده شده است.

شکل (12): منحنی خطا در آموزش ساختار CNN3 و آزمایش 2

جدول (12): مقایسه درستی طبقه‌بندی CNN4 در مراحل آموزش و آزمون

CNN 4	Epoch	Learning Time	Train Acc rate%	Test Acc rate%
آزمایش 1	300	min 25	100	75/98
آزمایش 2	300	min 25	100	50/97
آزمایش 3	300	min 25	100	58/94

جدول (13): نتایج طبقه‌بندی CNN4 در مرحله آزمون

CNN 4		Test Samples	TP	TN	FP	FN	Se%	Sp%	Acc%
آزمایش 1	005/1 – 995/0	240	117	120	0	3	50/97	100	75/98
آزمایش 2	01/1 – 99/0	240	118	116	4	2	33/98	67/96	50/97
آزمایش 3	05/1 – 95/0	240	114	113	7	6	00/95	17/94	58/94

بهترین عملکرد CNN4 به ازای نرخ افزایشی 005/1 و نرخ کاهشی 995/0 برای وزن‌ها و بایاس‌ها به دست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت 50/97 درصد، برای خصوصیت 100 درصد و برای درستی برابر75/98 درصد در مرحله آزمون است.

منحنی اصلاح خطای MSE در CNN4 برای این حالت بهینه در شکل (13) نمایش داده شده است.

شکل (13): منحنی خطا در آموزش ساختار CNN4 و آزمایش 1

5-نتیجه‌گیری

در این پژوهش کوشش شده است تا اصول طراحی یک سیستم هوشمند CAD تصویر محور برای تشخیص و طبقه‌بندی تومورهای خوش‌خیم و بدخیم سرطان سینه بر اساس تصاویر MRI ارایه‏ شود. این سیستم بر مبنای شبکه‌های عصبی کانولوشن استوار است و امتیاز این نوع از ساختارهای هوشمند در این است که برای تشخیص تصاویر، دیگر نیازی به تعریف و استخراج دستی ویژگی‌ها وجود ندارد. این شبکه‌ها به گونه‌ای طراحی شده‌اند تا با مدل‌سازی ساختار بینایی و فرآیندهای تشخیصی وابسته به آن در مغز، با استخراج خودکار ویژگی‌های مورد نیاز، به یادگیری کلاس تصاویر در یک ساختار متمرکز و واحد پرداخته و دانش متخصصان رادیولوژیست را در شناسایی بصری انواع تومورها فرا بگیرند. از این رو برای ارزیابی عملکرد این روش از یک رویکرد متداول استخراج ویژگی و طبقه‌بندی بر اساس شبکه عصبی MLP به عنوان یک معیار سنجش بهره برده شد. بدین ترتیب بهترین عملکرد برای CNN4 با روش بهینه‌سازی پس‌انتشار عدول شونده برای حساسیت 50/97 درصد، خصوصیت 100 درصد و درستی 75/98 درصد در مرحله آزمون حاصل شد. این در حالی است که برای روش متداول به کمک MLP، حساسیت 16/90 درصد، خصوصیت 14/88 درصد و درستی 17/89 درصد در مرحله آزمون به دست آمد.

ساختار پیشنهادی در این نوشتار، تلاش بر حداقل کردن تعداد شاخص‏های آزاد شبکه کانولوشن نسبت به سایر انواع ساختارهای ارایه‏ شده در مقالات و کاربردهای بینایی ماشین دارد. از سویی به کمک روش آموزش پس‌انتشار عدول‌شونده نیز کوشش شد تا سرعت فرآیند آموزش شاخص‏ها نیز بهبود یابد. این روش در شبکه‌های کانولوشن یکسان و تعداد Epochهای برابر، بر اساس شبیه‌سازی‌های انجام شده، بطور متوسط 20 درصد نسبت به روش گرادیان نزولی سریع‏تر به خطای قابل قبول همگرا می‌شود.

[1] - Breast cancer.

[2]- Lung cancer.

[3] - Cancroid.

[4] - High-risk.

[5] - Artificial neural network.

[6] -False Positive (FP).

[7] -Region of Interest (ROI).

[8] -Feature Extraction.

[9] -Feature Based Neural Networks.

[10] -Normalized Radial Length (NRL)

[11] -Roughness

[12] -Homogeneity

[13] -Sensitivity (Se).

[14] -Specificity (Sp).

[15] -Accuracy (Acc).

[16] -Area under curve: AUC

[17] -Receiver Operating Characteristics

[18] -Image Based Neural Networks.

[19] -ROI

[20] -Spatial Gray Level Dependence

[21] -Gray Level Difference Statistics

[22] -Convolution Neural Networks (CNNs).

[23] -Field of view

[24] -Transaxial

[25] -Sagittal

[26] - Region of Interest.

[27] - Pre-Processing.

[28] - Mapping.

[29] - Morphological opening operation.

[30] - Image segmentation.

[31] - Labeling connected components approach.

[32] - Regional Descriptor.

[33] - Convolution layers.

[34] - Sub-Sampling layers.

[35] - Output layer.

[36] - Plane.

[37] - Feature map.

[38]- Zero-Padding.

[39] - Supervised Learning.

[40] - Batch.

[41]- Resilient Back-Propagation (RPROP).

[42] - True Positive.

[43] - True Negative.

[44] - False Positive.

[45] - False Negative.

[46] - Spiculation.

[47] - Angular second moment (ASM)

مراجع

[1] Daniel B. Kopans, “Breast Imaging”, Lippincott Williams & Wilkins, Department of Radiology, Massachusetts General Hospital; Professor of Radiology, Harvard Medical School, Boston, Massachusetts, third edition, 2007.

[2] Yeun-Chung Chang, Yan-Hao Huang, Chiun- Sheng Huang, Pei-Kang Chang, Jeon-Hor Chen, Ruey-Feng Chang, “Classification of breast mass lesions using model-based analysis of the characteristic kinetic curve derived from fuzzy c-means clustering”, Magnetic Resonance Imaging, Vol. 30, pp. 312-322 , 2012.

[3] Shih-Chung B. Lo, Shyh-Liang A. Lou, “Artificial Convolution Neural Network Techniques and Applications for Lung Nodule Detection”, IEEE Transactions on Medical Imaging, Vol. 14, No. 4, pp. 711-718, December 1995.

[4] Datong Wei, Berkman Sahiner, Heang-Ping Chan, Nicholas Petrick, “Detection of Masses on Mammograms using A Convolution Neural Network”, IEEE Conference, 1995.

[5] Berkman Sahiner, Heang-Ping Chan, Nicholas Petrick, Datong Wei, Mark A. Helvie, Dorit D. Adler, and Mitchell M. Goodsitt, “Classification of Mass and Normal Breast Tissue: A Convolution Neural Network Classifier with Spatial Domain and Texture Images”, IEEE Transactions on Medical Imaging, Vol. 15, No. 5, pp. 598-610, October 1996.

[6] Shih-Chung B. Lo, Huai Li, Yue Wang, Lisa Kinnard, and Matthew T. Freedman, “A Multiple Circular Path Convolution Neural Network System for Detection of Mammographic Masses”, IEEE Transactions on Medical Imaging, Vol. 21, No. 2, pp. 150-158,February 2002.

[7] Yu Hen Hu, Jenq-Neng Hwang, Handbook of neural network signal processing, CRC Press, 2000.

[8] Dustin Newell, Ke Nie, Jeon-Hor Chen, Chein-Chih Hsu, Hon J. Yu, Orhan Nalcioglu, Min-Ying Su, “Selection of diagnostic features on breast MRI to differentiate between malignant and benign lesions using computer-aided diagnosis: differences in lesions presenting as mass and non-mass-like enhancement”, European Radiology, Vol. 20, No. 4, pp. 771-781, 2009.

[9] Giang Hoang Nguyen, Son Lam Phung, and Abdesselam Bouzerdoum, ''Reduced Training of Convolutional Neural Networks for Pedestrian Detection'', 6th International Conference on Information Technology and Applications (ICITA 2009), ICITA 2009.

[10] Yann LeCun, Koray Kavukcuoglu and Clement Farabet, “Convolutional Networks and Applications in Vision”, Computer Science Department, Courant Institute of Mathematical Sciences, New York University, 2010.

[11] Jawad Nagi, Frederick Ducatelle, Gianni A. Di Caro, Dan Ciresan, Ueli Meier, Alessandro Giusti, Farrukh Nagi, Jurgen Schmidhuber, Luca Maria Gambardella, “Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition”, IEEE International Conference on Signal and Image Processing Applications (ICSIPA2011) , 2011.

[12] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition”, Proceedings of the IEEE, Vol. 86, No. 11, pp. 2278–2324, 1998.

[13] M. Riedmiller and H. Braun, “A direct adaptive method of faster back propagation learning: The rprop algorithm”, IEEE International Conference on Neural Networks, San Francisco, pp. 586–591, 1993.

[14] Alan G Glaros, “Understanding the accuracy of tests with cutting scores the sensitivity, specificity, and predictive value model”, J. Clinical Psychology, Vol. 44, No. 6, pp. 1013-1024, 1988.

[15] R. M. Haralick, K. Shanmuga and I. Dinstein, “Textural features for image classification”, IEEE Transaction on Systems, Vol. 3, Issue. 6, pp. 610-621, 1973.

[16] L. A. Meinel, A. H. Stolpen, K. S. Berbaum, L. L. Fajardo and J. M. Reinhardt, “Breast MRI lesion classification: improved performance of human readers with a back propagation neural network computer-aided diagnosis (CAD) system”, Magnetic Resonance Imaging, Vol. 25, pp. 89-95, 2007.

[17] K. Nie, JH. Chen, H. J. Yu, Y. Chu and O. Nalcioglu, “Quantitative analysis of lesion morphology and texture features for diagnostic prediction in breast MRI”, Acad Radiol, Vol. 15, Issue 12, pp. 1513-1525, 2008.

[18] Y-H. Huanga, Y-Ch. Changb, Ch-Sh. Huangc, T-Ju. Wua, J-H Chend, R-F. Changa, “Computer-aided diagnosis of mass-like lesion in breast MRI: Differential analysis of the 3-D morphology between benign and malignant tumors”, Computer Methods and Programs in Biomedicine, Vol. 112, Issue 3, pp. 508-517, 2013.

آمار

تعداد مشاهده مقاله: 3,254

تعداد دریافت فایل اصل مقاله: 1,297

سامانه مدیریت نشریات علمی. قدرت گرفته از سیناوب

پیوندهای مفید

اخبار و اعلانات

آمار

طراحی یک سیستم CAD برای شناسایی و طبقه‌بندی تومورهای سرطان سینه در تصاویر DCE-MR بر اساس شبکه‌های عصبی کانولوشن سلسله مراتبی

2- تصاویر MR و انتخاب ROI

3- شبکه عصبی کانولوشن پیشنهادی

3-1- مدل ریاضی لایه‌های مختلف CNN

3-1-1- لایه کانولوشن

3-1-3- لایه خروجی

3-2- آموزش شبکه‌ عصبی کانولوشن

3-3- محاسبه گرادیان خطای شبکه CNN

3-3-1- تعریف حساسیت خطا

3-3-1-1- محاسبه‌ حساسیت‌ها و گرادیان‌های خطا برای لایه‌های مختلف

3-4- الگوریتم‌‌های آموزشی CNN

3-5-معیار ارزیابی یک طبقه‌بند

4- نتایج شبیه‌سازی

4-2- شبیه‌سازی براساس ساختار کانولوشن پیشنهادی

4-3- نتایج شبیه‌سازی بر اساس گرادیان نزولی

4-4- نتایج شبیه سازی بر اساس پس‌انتشار عدول‌ شونده

5-نتیجه‌گیری