توصيفگر ها :
سامانه هاي فيزيكي سايبري , سيستم هاي تحت كنترل شبكه , فرايندهاي تصميم گيري ماركف , يادگيري تقويتي
چكيده فارسي :
پيشرفت‌هاي گسترده در علوم مخابرات و كنترل باعث شده است كه تكنولوژي‌هاي جديد هم چون شبكه‌هاي NCS براي فراهم آوردن زيرساخت‌هاي لازم براي كنترل سيستم‌هاي ديناميكي از هر نوع الكتريكي، مكانيكي، و غيره با استفاده از شبكه‌هاي مخابراتي به خصوص مخابرات بيسيم شكل بگيرند. در اين بين ساختار غالبي كه شبكه‌هاي NCS دارند، به صورت يك مدار فيدبك براي كنترل يك سيستم ديناميكي، مانند يك ريزپرنده، است كه در آن قسمت كنترلر سيستم فيدبك در يك پايگاه دور از سيستم ديناميكي قرار دارد. در چنين ساختاري، حلقه‌ي فيدبك بين سيستم ديناميكي و واحد كنترل بوسيله‌ي كانالهاي مخابراتي بيسيم بسته مي‌شود. دو مشكل بزرگ چنين سيستم فيدبكي آن است كه اول كانالهاي بيسيم در معرض خطاي ارسال و از دست رفتن بسته‌هاي داده هستند. دومين مشكل كمبود پهناي باند و كانالهاي بيسيم است. معمولا يك شبكه‌ي NCS از چندين سيستم ديناميكي تحت كنترل يك پايگاه مركزي تشكيل شده است. ولي تعداد كانال مخابراتي براي اختصاص به صورت هم‌زمان به تك‌تك سيستم‌هاي ديناميكي براي ارسال داده به كنترلر مركزي وجود ندارد .حال آن‌كه در چنين سيستم فيدبكي قطع كانال بيسيم و يا عدم ارسال داده به معني باز شدن حلقه‌ي فيدبك و اخلال در كنترل سيستم‌هاي ديناميكي تحت كنترل يك شبكه است و هر عدم دريافت موفق داده در كنترلر براي هر سيستم ديناميكي خطايي به مدار فيدبك آن سيستم ديناميكي تحميل مي‌كند. از اين رو هر شبكه‌ي NCS نياز به يك واحد برنامه‌ريز كانال مركزي دارد تا در هر فريم زماني كانالهاي بيسيم موجود را بين سيستم‌هاي ديناميكي توزيع كند به نحوي كه متوسط خطاي مدار فيدبك ناشي از عدم ارسال داده‌ها كمينه باشد. از اين رو روش‌هاي جديد بر مبناي فرايند تصميم‌گيري ماركف و يادگيري تقويتي عميق براي مديريت كانالهاي بيسيم در شبكه‌هاي NCS پيشنهاد شده است. در اين بين كاستي بزرگ روش‌هاي ارائه شده آن است كه اهميت برنامه‌ريزي كانال با امكان اختصاص بيش از يك كانال به طور هم‌زمان به يك سيستم ديناميكي در آن‌ها لحاظ نشده است. حال آن‌كه اختصاص بيش از يك كانال بيسيم به يك سيستم ديناميكي در يك فريم زماني خاص به معني امكان ارسال بيش از يك كپي از داده‌ها در آن فريم زماني بوده و امكان دريافت موفق داده را در سمت واحد كنترل مدار فيدبك افزايش مي‌دهد. در اين پايان‌نامه ابتدا به تاثير اختصاص‌هاي چند كاناله بر روي پايداري و كوچك ماندن خطاي مدار فيدبك ميپردازيم و نشان مي‌دهيم كه اختصاص چند كاناله، تاثير قابل توجهي در كوچك كردن خطاي ناشي از عدم ارسال داده در يك شبكه‌ي NCS دارد. مشكل ديگري كه كمتر به آن پرداخته شده، بررسي گسترش‌پذيري روش‌هاي ارائه شده است زيرا فضاي تصميم‌گيري براي انتخاب سيستم‌هاي ديناميكي براي اختصاص كانال بيسيم با افزايش مقياس يك شبكه‌ي NCS به لحاظ تعداد سيستم ديناميكي و تعداد كانال بيسيم بسيار بزرگ مي‌شود. حال آن كه روش‌هاي ارائه شده پاسخگوي مشكل گسترش‌پذيري در شبكه‌هاي NCS نيستند. در اين پايان‌نامه، پروتكل برنامه‌ريز كانال مبتني بر روش DDPG ارائه خواهد شد كه مشكل گسترش‌پذيري در شبكه‌هاي NCS را نيز تا حدودي مرتفع مي‌كند.
چكيده انگليسي :
Due to enormous advances in the fields of Communication Networks and Control Theory, new technologies, including NCS, have emerged to provide the physical infrastructure required for remote controlling of physical dynamic systems by Wireless Communication Networks.
Among all, a popular scenario in NCSʹs is a network of several dynamic systems, each controlled by a separate feedback loop, in which the controller parts of all the feedback loops are located in a central controller. It is obvious that in such a scenario, the feedback loops are enclosed by lossy wireless channels, which are prone to packet losses. Moreover, in most cases, the number of controlled devices outnumber the number of available wireless channels, causing the continuous communication among the dynamic systems and the central controller infeasible. However, every unsuccessful packet reception from a dynamic system at any time frame induces an error in its feedback loop.
To minimize the amount of error for all dynamic systems, there should be a channel scheduler unit in each NCS to assign wireless channels to dynamic systems at every time frame. The ultimate goal of this scheduler unit is to minimize the sum of error averages of all dynamic systems.
A new approach for solving this problem is using Reinforcement Learning. Using the Reinforcement Learning, we explore two main issues. First, we consider assigning more than one wireless channel to a single dynamic system at a frame time. We observe that by envisioning such a possibility, the stability of the cumulative error of a network can be guaranteed for wireless channels with higher packet drop probabilities. Another issue is the scalability of the proposed methods for large-scale NCS networks. In this dissertation, we propose a DDPG-based method that would be applicable for large-scale NCS networks.
