توصيفگر ها :
بخش بندي تصاوير , درونيابي تصاوير , هدف گذاري مجدد تصاوير , تبديل تصاوير , شبكه هاي مولد متخاصم
چكيده فارسي :
يادگيري توزيع يا توزيع توأمان داده ها، جهت بهبود عمليات هاي پردازش تصاوير و افزايش قابليت تعميم اطلاعات فراگيري شده توسط شبكه ها، داراي اهميت ويژه‌اي در زمينه هاي مختلف بينايي ماشين مي باشد. در سال هاي اخير، ساختار هاي مولد متخاصم مشروط و حلقوي با توجه به قدرت آن ها در يادگيري توزيع يا توزيع توأمان داده ها، بسيار مورد توجه واقع شده اند. يادگيري توزيع تصاوير، موجب مي شود كه توجه شبكه صرفا معطوف به ارتباط زوج داده هاي آموزشي نبوده و از ويژگي هاي كلي توزيع هاي مورد نظر و همچنين ارتباط دو توزيع نيز بهره لازم را ببرد. اين امر موجب مي شود علاوه بر بهبود عملكرد شبكه ها در زمينه هاي مختلف، بهبود قابليت تعميم اطلاعات فراگرفته شده توسط شبكه بر روي داده هايي تا حدي متفاوت از داد هاي آموزشي را نيز شاهد باشيم. در كار ارائه شده، ما با ارائه ساختار هاي گوناگون با استفاده از شبكه هاي مولد متخاصم مشروط و حلقوي، نظر به بهبود عملكرد اين ساختار‌ها در زمينه هاي بخش بندي، درونيابي، هدف گذاري مجدد و تبديل تصاوير بين حوزه هاي مختلف تصاوير، داشته ايم. به طور دقيق تر، ابتدا تاثير استفاده از دو شبكه جداكننده جهت ايجاد تعادل بين ميزان استفاده از توزيع ورودي و ميزان برازش به توزيع هدف با ايجاد اتصالات چند مقياسي مابين شبكه هاي مولد و جداكننده در ساختار مولد متخاصم مشروط را بررسي نموده ايم. سپس در كاري ديگر با پويا كردن اين ساختار، باعث بهبود عملكرد آن در يادگيري توزيع تصاوير هدف شده ايم كه اين امر موجب بهبود قابليت تعميم پذيري اين ساختار براي بخش بندي تصاوير خارج از حوزه شده است. در ادامه با توجه به قدرت ساختار مولد متخاصم مشروط در مدل سازي توزيع هاي مختلف، عملكرد اين ساختار در تركيب با شبكه هاي مبدل در درونيابي تصاوير چهره را بررسي نموديم و در انتها با اتكا به قدرت اين ساختار در درونيابي و فراتفكيك كردن تصاوير، با پردازش مجزاي پس زمينه و قسمت برجسته تصوير، به ارائه روشي جهت هدف گذاري مجدد تصاوير با تركيب اين ساختار با الگوريتم هاي هوش جمعي پرداخته ايم. از طرف ديگر در دو كار مجزا به ارائه روش‌هايي با استفاده از ايجاد اتصالات و حلقه هاي چند مقياسي بين شبكه هاي مولد و جداكننده و استفاده از شبكه مولد با ميدان ديد ورودي بزرگتر در ساختار مولد متخاصم حلقوي به هدف افزايش كيفيت تبديل تصاوير بين حوزه هاي مختلف، جهت استفاده از تصاوير تبديل شده در مسئله بخش بندي، پرداخته ايم. با بررسي دقيق نتايج بدست آمده و مقايسه آن ها با روش هاي پيش تر ارائه شده نشان داده ايم كه روش هاي ارائه شده، نسبت به روش هاي پيشين چه عملكرد كيفي و كمي بدست مي¬دهند.
چكيده انگليسي :
Learning distribution or joint distribution of data to increase the performance of image processing tasks and also increase the domain generalization ability of networks are really important in different machine vision tasks. In recent years, due to the power of conditional and cyclic Generative adversarial networks in modeling the distribution or joint distribution of data, these networks get lots of attentions. Learning images distribution moving the concentration of the networks from discovering paired data information toward relation of distributions and join distributions information. Beside increasing the networks performance in different tasks by using cGANs and cycleGANs, results in better domain generalization ability in the test time when the distribution of test data is a bit different compared to the training data. In this work, we proposed methods base on cGANs and cycleGANs architectures to increase the image segmentation, inpainting, retargeting and translating ability of these networks on different datasets. To be more precise, we first examining the effect of dual discriminator and multi-scale connections between these discriminators and generator networks on the architecture balance between using the input information and fitting to the target domain distribution in a work. Then in a separate work, we made the architecture of the cGANs dynamic which results to increase the domain generalization ability of this networks. Next, Due to the power of cGANs to learn the different distributions, we study the combination of these networks and transformers to increase the performance of face inpainting task. Finally, based on the ability of these networks in inpainting and super-resolution tasks, we proposed a method to retarget an image by processing the background and foreground of that image base on cGANs models and swarm intelligence algorithms. Furthermore, we also proposed two works based on cycleGANs architecture. We tried to increase the performance of image translation tasks in these proposed methods. First, we used multi-cyclic and multi-scale connections to increase amount of the gradient that follows between generators and discriminators to prevent and solve the gradient vanishing problems. Then we tried to increase the receptive field of the generator networks to increase the use of general features of inputs instead of detailed ones when trying to construct the desired outputs. By considering the results that have been achieved from the proposed methods, we compared our proposed methods performance to the other available methods in terms of quality and quantity of the results.
