17776

15521

كارشناسي ارشد

هوش مصنوعي و رباتيكز

اصفهان : دانشگاه صنعتي اصفهان

1401

[دوازده]، 72ص. : مصور (رنگي)، جدول، نمودار

محمدحسين منشئي

مازيار پالهنگ، حسين فلسفين

1401/06/20

كتابنامه

مهندسي كامپيوتر

مهندسي برق و كامپيوتر

1401/06/21

2857980

شبكه‌هاي مولد متخاصم گونه‌اي از شبكه‌هاي مولد هستند كه در آن عامل متخاصم باعث يادگيري شبكه‌ي مولد مي‌شود. در اين شبكه‌ها عامل متخاصم تفكيك‌كننده نام دارد و هدف آن تشخيص واقعي و يا غيرواقعي بودن داده‌هايي است كه دريافت مي‌كند. يادگيري تقليدي، روشي است كه عامل با تقليد از خبره، وظيفه را ياد مي‌گيرد. براي اين كار روش‌هاي يادگيري تقويتي معكوس و شبيه‌سازي رفتاري ارائه شده‌اند. از شبكه‌هاي مولد متخاصم مي‌توان در يادگيري تقليدي استفاده كرد كه اين روش يادگيري تقليدي مولد متخاصم نام دارد. اين روش سرعت و دقت بيشتري نسبت به روش‌هاي قبلي دارد. روش‌هايي جهت بهبود شبكه‌هاي مولد متخاصم ارائه شده‌اند كه در هر يك از آنها بخشي از معايب شبكه‌هاي مولد متخاصم بهبود يافته است. از اين روش‌ها مي‌توان به استفاده از شبكه‌ي مولد متخاصم چندعامله‌ي گسترده اشاره كرد. در اين روش از چند مولد براي يادگيري استفاده شده‌است. در اين پژوهش، مدلي ارائه‌ شده‌است كه با استفاده از ايده‌ي شبكه‌ي مولد متخاصم چند‌عامله‌ي گسترده، يادگيري تقليدي مولد متخاصم را بهبود ببخشد. اين مدل كه به صورت خلاصه MAD-GAIL نام دارد، براي بهبود يادگيري، با استفاده از چند مولد، به يادگيري وظيفه‌ي تعيين شده مي‌پردازد. اين كار باعث مي‌شود تا كل توزيع داده‌هاي خبره پوشش داده‌شود و همچنين با اجبار هر مولد به توليد داده‌هاي يك Mode، بتوان از هر مولد به صورت جداگانه استفاده كرد. در اين پژوهش، براي صحت‌سنجي الگوريتم، از محيط‌هاي از پيش آماده‌ي كتابخانه‌ي Gym استفاده شده‌است با مقايسه‌ي شبيه‌سازي‌ها درمي‌يابيم كه الگوريتم در محيط‌هاي Single-Modal به خوبي الگوريتم GAIL عمل مي‌كند و از لحاظ سرعت يادگيري بهبود يافته است. بعد از آن به بررسي اين الگوريتم در محيط‌هاي Multi-Modal پرداخته شده كه نتايج حاكي از آن است كه الگوريتم هر مولد به خوبي به سمت يك Mode همگرا مي‌شود. در انتها به مقايسه‌ي تعداد مولد و Mode در روند يادگيري پرداخته شده‌است.

Generative Adversarial Networks (GANs) are kind of generative models in which the adversarial agent helps train the generative network. In these networks, the adversarial agent is called a discriminator, whose role is to discriminate between its real and fake input. Imitation Learning is a learning method in which the agent tries to learn the task by imitating an expert. Behavioral Cloning and Inverse Reinforcement Learning methods are provided for this kind of learning. Recently a new method has been provided based on using GANs, named Generative Adversarial Imitation Learning (GAIL). This method has a better performance compared to previous methods. There are some approaches for improving GANs, one of which is named Multi-Agent Diverse Generative Adversarial Networks (MAD-GAN). In this approach, several generators are used to improve the GAN. We presented a new approach to improve Generative Adversarial Imitation Learning based on the idea of MAD-GAN. We call this approach MAD-GAIL. This approach uses several generators to learn the defined task. This will cause a performance improvement and also the full coverage of the expert dataset distribution. Moreover, this approach forces each generator to generate a specific mode in the dataset. Therefore, we can use each generator separately. In this research, we used the Gym library to validate the algorithm. The results demonstrate that this algorithm performs as well as the GAIL algorithm and performs better than GAIL in the case of learning speed. Afterward, the algorithm was tested in Multi-Modal environments. These results show that each generator in MAD-GAIL converges to a specific mode. Finally, we test the model in cases where the number of generators and modes differ

محمدحسين منشئي

مازيار پالهنگ، حسين فلسفين