توصيفگر ها :
شبكه حسگر بيسيم , DQN , مسيريابي , مصرف انرژي
چكيده فارسي :
شبكههاي حسگر بيسيم به دليل كاربردهاي متعدد از جمله نظامي، نظارت بر محيط زيست و همچنين جمعآوري دادههاي دقيق، توجه بسياري از صنعتگران و محققان را به خود جلب كرده است. گرههاي حسگر منابع محاسباتي و همچنين انرژي محدودي دارند و از آنجايي كه معمولا امكان تعويض يا شارژ مجدد باتري گرههاي حسگر وجود ندارد، مسئله مصرف انرژي در شبكههاي حسگر بيسيم اهميت ويژهاي دارد. پروتكلهاي مسيريابي پرمصرفترين بخشهاي شبكه حسگر بيسيم از نقطه نظر انرژي به حساب ميآيند و نقش مهمي در بهينهسازي مصرف انرژي دارند. درنتيجه به منظور بهبود در عملكرد طولاني مدت شبكههاي حسگر بيسيم بسيار مورد بررسي قرار گرفتهاند. در پروتكلهاي مسيريابي مرسوم، مسيريابي با توجه به عوامل مرتبط با وضعيت فعلي شبكه انجام ميشود، كه اصولا از مسائلي مانند تراكم يا خرابي اتصال ناشي از افزايش ترافيك و تغيير شرايط شبكه رنج ميبرند و منجر به كاهش عملكرد شبكه ميشوند. علاوه بر اين، هنگامي كه چنين موقعيتهايي دوباره تكرار ميشوند، پروتكلهاي مسيريابي مرسوم معمولاً از تجربيات قبلي كه باعث ازدحام شديد يا افزايش تاخير شده است درس نميگيرند، كه به راحتي ميتواند منجر به تكرار تصميمهاي اشتباه شود. بنابراين، طراحي استراتژي مسيريابي به دليل رشد فوقالعاده ترافيك شبكه و تغييرات مداوم محيطهاي شبكه با چالشهاي جديدي روبرو خواهد شد. از اين رو استفاده از الگوريتمهاي هوش مصنوعي در چالشهاي مطرح شده در شبكهها، كارآمد به نظر ميرسد. مطالعات سالهاي اخير نشان دادهاند كه الگوريتمهاي يادگيري تقويتي عميق، راههاي جديدي را براي الگوريتمهاي مسيريابي هوشمند و تطبيقي باز كرده است. با توجه به تواناييها و مزاياي بيشمار DQN نسبت به ساير الگوريتمهاي يادگيري تقويتي، اين پاياننامه بر استفاده از الگوريتم DQN به منظور بهبود مصرف انرژي در مسيريابي در شبكههاي حسگر بيسيم تمركز دارد. براي دستيابي به اين هدف الگوريتم يادگيري تقويتي نيازمند سياستگذاري دقيق و كارآمد است. بنابراين يك تابع پاداش خلاقانهي جديد مبتني بر شرايط پوياي محيط، ويژگيهاي منحصر به فرد DQN و اهداف بيان شده ارائه شده است، كه از نقاط قوت پژوهش به حساب ميآيد. به طور كلي هدف اصلي اين پاياننامه بررسي كاربرد الگوريتم DQN و پاداش تعريف شدهي آن در پروتكلهاي مسيريابي شبكههاي حسگر بيسيم براي به حداقل رساندن مصرف انرژي و در عين حال حفظ سطح رضايت بخشي از عملكرد شبكه است و يك رويكرد هوشمند جديد را با ادغام الگوريتم DQN در پروتكلهاي مسيريابي موجود ارائه ميكند تا ماهيت تطبيقي و آگاه از انرژي آنها را تقويت كند. نتايج شبيهسازي نيز بيانگر عملكرد بهتر الگوريتم DQN آموزش ديده براساس تابع پاداش تعريف شده در مسيريابي آگاه از انرژي شبكههاي حسگر بيسيم نسبت به الگوريتم lQ-learning و روشهاي سنتي مانند lSPR و SPRwDA است و منجر به كاهش مصرف انرژي و افزايش طول عمر اين شبكهها ميگردد.
چكيده انگليسي :
Wireless sensor networks have attracted the attention of many industrialists and researchers due to their numerous applications, including military, environmental monitoring, as well as accurate data collection. Sensor nodes have limited computing resources as well as energy, and since it is usually not possible to replace or recharge the battery of sensor nodes, the issue of energy consumption in wireless sensor networks is particularly important. Routing protocols are the most energy-consuming parts of wireless sensor networks from the point of view of energy and play an important role in optimizing energy consumption. As a result, in order to improve the long-term performance of wireless sensor networks, they have been investigated a lot. In conventional routing protocols, routing is done according to factors related to the current state of the network, which mainly suffer from issues such as congestion or connection failure caused by increased traffic and changing network conditions, and thus lead to a decrease in network performance. Moreover, when such situations reoccur, conventional routing protocols usually do not learn from previous experiences that caused severe congestion or increased delay, which can easily lead to repeated wrong decisions. Therefore, routing strategy design will face new challenges due to the tremendous growth of network traffic and continuous changes in network environments. Therefore, the use of artificial intelligence algorithms in the challenges raised in networks seems efficient. Studies in recent years have shown that deep reinforcement learning algorithms have opened new avenues for intelligent and adaptive routing algorithms. Considering the numerous capabilities and advantages of DQN over other reinforcement learning algorithms, this thesis focuses on using DQN algorithm to improve energy consumption in routing in wireless sensor networks. To achieve this goal, the reinforcement learning algorithm needs a precise and efficient policy. Therefore, a new creative reward function based on the dynamic conditions of the environment, the unique features of DQN and the stated goals is presented, which is considered one of the strengths of the research. In general, the main purpose of this thesis is to investigate the application of DQN algorithm and its defined reward in routing protocols of wireless sensor networks to minimize energy consumption while maintaining a satisfactory level of network performance, and to propose a new intelligent approach by integrating DQN algorithm. in existing routing protocols to enhance their adaptive and energy-aware nature. The simulation results also show the better performance of the DQN algorithm trained based on the reward function defined in the energy-aware routing of wireless sensor networks compared to the Q-learning algorithm and traditional methods such as SPR and SPRwDA, and it leads to a reduction in energy consumption and an increase in the lifetime of these networks.