پديد آورنده :
زماني دادانه، عرفان
عنوان :
فراتفكيكپذيري و ترميم تصاوير چهره با استفاده از شبكههاي مولد متخاصم
مقطع تحصيلي :
كارشناسي ارشد
گرايش تحصيلي :
هوش مصنوعي
محل تحصيل :
اصفهان : دانشگاه صنعتي اصفهان
صفحه شمار :
ده، 60ص. :مصور، جدول
توصيفگر ها :
فراتفكيكپذيري تصاوير چهره , شبكه مولد متخاصم , مدل تخريب , يادگيري عميق
تاريخ ورود اطلاعات :
1402/07/17
رشته تحصيلي :
هوش مصنوعي و رباتيك
دانشكده :
مهندسي برق و كامپيوتر
تاريخ ويرايش اطلاعات :
1402/07/17
چكيده فارسي :
بهبود كيفيت تصاوير چهره در حوزه پردازش تصوير به يك زمينه تحقيقاتي جذاب و كاربردي بدل گشته است كه در ساير حوزهها مانند تشخيص هويت نقش مهمي دارد. در سالهاي اخير روشهاي مختلف يادگيري عميق براي افزايش وضوح تصاوير پيشنهاد شده است كه اغلب اين رويكردها بر اساس ثابت درنظرگرفتن تخريب، طراحي شدهاند. بنابراين، اين رويكردها در كاربردهاي دنياي واقعي تصاوير چهره دچار مشكل ميشوند. علت ديگر ضعف اين راهكارها استفاده از اطلاعات پيشين هندسي و مرجع چهره جهت ترميم تصوير هستند كه در تصاوير ورودي كمكيفيت چنين اطلاعاتي به صورت جامع وجود ندارد و همچنين هميشه تصاوير باكيفيت نيز در دسترس نيست. در اين پژوهش تلاش بر اين است كه با تغييرات در ساختار استخراج ويژگي تصوير ورودي و همچنين تغيير ساختاري مدل مولد تا حدودي بر اين كاستيها از طريق ساختار شبكه مولد از پيش آموزش داده شده (StyleGAN2) نائل شويم. اطلاعات به دست آمده از اين شبكه با ويژگيهاي استخراج شده از تصوير ورودي تركيب ميشوند تا تعادل مناسبي ميان وفاداري به حفظ هويت چهره و ميزان واقعي بودن چهره ايجاد گردد. همچنين براي عملكرد پوياي شبكه جهت انتخاب از هر دو سمت اطلاعات به دست آمده، يك بخش تعيين ميزان تخريب در نظر گرفته شده است كه از استراتژي يادگيري بازنمايي تخريب به صورت نظارت نشده استفاده ميكند. ارزيابي راهكار استفاده شده در اين مدل بر روي تصاوير چهره دنياي واقعي و همچنين ساير مجموعه دادهها افزايش كارايي و كيفيت را مخصوصاّ در تصاوير با ميزان تخريب بالا نشان داده است.
چكيده انگليسي :
Face Super-Resolution in the field of image processing has become an attractive and practical research field, which plays an important role in other fields such as identity recognition. In recent years, various deep learning methods have been proposed to increase the resolution of images, and Many of these methods are developed with the assumption of constant degradation. Therefore, these approaches have problems in real-world applications of face images. One additional factor contributing to the limitations of these methods is their reliance on prior geometric and reference facial information for image restoration. However, such comprehensive information is often lacking in low-quality input images. Furthermore, the availability of high-quality images is not always guaranteed. In this research, we try to overcome these shortcomings to some extent through the structure of pre-trained generative network (StyleGAN2). The information obtained from this network is combined with the features extracted from the input image in order to create a suitable balance between the degree of fidelity to the preservation of face identity and the degree of realness of the face. Also, for the dynamic performance of the network to select from both sides of the obtained information, a section for determining the amount of degradation has been considered, which uses the learning strategy of representation of degradation in an unsupervised manner. The evaluation of the solution used in this model on the face images of the real world as well as other databases has shown an increase in efficiency and quality, especially in images with a high level of degradation.
استاد راهنما :
محمدعلي خسروي فرد , محمدرضا حيدرپور
استاد داور :
شادرخ سماوي , نادر كريمي