توصيفگر ها :
يادگيري عميقي , شبكههاي پيچشي , بخش‌بندي تصوير , شبكههاي مولد متخاصم , نقشه‌گرمايي
چكيده فارسي :
بخش‌بندي تصوير پردازشي است كه در آن به هر كدام از پيكسل‌ها يك كلاسِ از پيش تعيين شده نسبت داده مي‌شود به طوري‌كه پيكسل‌ها با برچسب مشابه، ويژگي‌هاي تعريف شده يكساني دارند. بخش‌بندي تصوير در روش‌هاي سنتي با استخراج ويژگي‌ها به صورت دستي انجام مي‌شد ولي در روش‌هاي جديد كه بيش‌تر مبتني بر شبكه‌ي عصبي است، شبكه با توجه به تصوير ورودي و ويژگي‌هاي آن، ويژگي‌هاي مناسب‌تر را استخراج كرده و براساس آن بخش‌بندي را انجام مي‌دهد.
شبكههاي عصبي پيچشي نوعي از شبكههاي عصبي عميق هستند كه معمولا براي داده‌هاي تصويري مورد استفاده قرار مي‌گيرند. اين شبكهها از چندين لايه‌ي متوالي ساخته شده‌اند كه در لايه‌هاي نزديك‌تر به تصوير ورودي، شبكه ويژگي‌هاي ساده مثل رنگ و لبه‌ها را ياد مي‌گيرد و در لايه‌هاي عميق‌تر كه با فاصله‌ي بيش‌تري از تصوير ورودي قرارگرفته است، ويژگي‌هاي مفهومي و انتزاعي‌تر مثل بافت را ياد مي‌گيرند. افزايش تعداد لايه‌ها سبب از دست رفتن اطلاعات مكاني مي‌شود ولي در بخش‌بندي علاوه بر تشخيص نوع شي، مكان قرار گرفتن شي در تصوير هم اهميت دارد. اين امر سبب شده‌است كه محققان با ارائه‌ي معماري‌هاي مختلفِ شبكه‌ي‌عصبي پيچشي، سعي در دريافتِ حداكثر ميزان ويژگي‌ها با حفظ اطلاعات مكاني داشته باشند.
عملكرد اين شبكهها توسط راهكارهاي متفاوتي مورد ارزيابي قرار مي‌گيرد. يكي از اين راهكارها كه در اين تحقيق مورد توجه قرار گرفته، نقشه‌گرمايي است. نقشه‌گرمايي نشان مي‌دهد كه شبكه به كدام نواحي توجه بيش‌تري داشته‌است و به نوعي دليل تصميم شبكه را تعيين مي‌كند. در اين تحقيق از نقشه‌گرمايي به منظور بهبود عملكرد شبكه پيچشي درحوزه بخش‌بندي تصوير در شبكههاي عصبي U-Netو شبكه مولد متخاصم استفاده شده‌است. در شبكه‌ي U-Net به علت ادغام كردن ويژگي‌ها با سطوح معنايي و مكاني متفاوت در بخش رمزگشاي شبكه، عملكرد كاهش مي‌يابد از طرفي در شبكههاي مولد متخاصم هم تعداد داده‌هاي آموزشي در يادگيري شبكه اهميت زيادي دارد. در اين پايان نامه ابتدا يك شبكه به منظور طبقه‌بندي داده‌ها مورد استفاده قرار مي‌گيرد سپس اطلاعاتي كه توسط اين شبكه استخراج مي‌شود در شبكههاي U-Netو شبكه مولد متخاصم به عنوان اطلاعات اضافي به منظور بخش‌بندي داده‌ها استفاده مي‌شود. نتايج به دست آمده نشان مي‌دهد كه استفاده از اطلاعات نقشه‌گرمايي موجب بهبود عملكرد شبكه به خصوص وقتي تعداد داده كمي در اختيار داريم خواهد شد. در مواقعي هم كه تعداد داده‌ها به اندازه كافي موجود باشد مي‌توان از اين ايده به منظور كاهش زمان مورد نياز براي آموزش شبكه استفاده كرد. بدين طريق كه تعداد داده بيش‌تري براي به دست آوردن نقشه‌گرمايي دقيق‌تر مورد استفاده قرار خواهدگرفت. چون اين اطلاعات در شبكه با وظيفه طبقه‌بندي به دست مي‌آيد زمان كم‌تري را نسبت به وظيفه‌ي بخش‌بندي تصوير به خود اختصاص مي‌دهد. به اين ترتيب بخشي از اطلاعات مفيد توسط اين شبكه به دست آمده و تعداد داده كم‌تري در فرآيند بخش‌بندي مورد نياز خواهد بود. در بخشي از اين تحقيق به جاي استفاده از100 تصوير كه براي بخش‌بندي تصوير توسط شبكه‌عصبي مولد متخاصم موردنياز است از 47 تصوير استفاده شده‌است كه با استفاده از اين ايده به نتايج قابل قبولي رسيده‌است و اين‌گونه زمان مورد نياز 50%كاهش يافته است
چكيده انگليسي :
Abstract
Image segmentation is a process in which each pixel is assigned a predefined class so that pixels with the same label have the same defined properties. There are several ways to segment an image. Traditional methods do this by extracting features manually. Still, in newer methods, mostly based on neural networks, the network extracts more appropriate features according to the input image and its features and performs segmentation accordingly. Convolutional neural networks are a class of deep neural networks that are mainly used for visual image analysis. These networks are made up of several successive layers. In layers closer to the input image, the network learns simple features such as color and edges, and in deeper layers farther away from the input image; it learns more conceptual and abstract features such as texture. The performance of this network is examined by different solutions. One of the solutions studied in this research is the heatmap. The heatmap shows which areas the network have received the most attention to and justifies the network decision. In this research, heatmap has been used to improve the performance of the U-Net neural network and Generative Adversarial Network. In the U-Net network, performance is degraded due to integrating features with different semantic and spatial levels in the network decoder. On the other hand, in Generative Adversarial Network, the number of training data is very important for network learning. In this research, first, a network is used to classify the data, and the information extracted by this network is used in the U-Net network and Generative Adversarial Network as additional information for image segmentation. The results show that the use of heat map information improves network performance, especially when we have a small amount of data. Even when enough data is available, this idea can be used to reduce the time required for network training. In this way, more data will be used to obtain a more accurate heatmap. Because this information is obtained in the network with the classification task, it takes less time than the image segmentation task. Therefore, part of useful information is obtained by this network, and less data is required in the segmentation process. In part of this research, instead of using 100 images for segmentation, 47 images were used, which has acceptable results while reducing the time required by 50%.
