توصيفگر ها :
واسط مغز-رايانه , گفتار تصور شده , الكتروانسفالوگرافي , نقشه بازگشت , شبكه عصبي كانولوشني
چكيده فارسي :
سيستم واسط مغز-رايانه قابليت ارائه نسل جديدي از كاربردها كه مستقل از فعاليت عضلاني و كنترل‌شده توسط مغز انسان هستند، را دارا است. براي بيماران مبتلا به سندروم قفل‌شدگي كه در بدترين حالت فقط با پلك‌زدن مي‌توانند خواسته‌هاي خود را بيان كنند، يك سيستم ارتباطي ايده‌آل، واسط مغز-رايانه مبتني بر گفتار تصورشده است. يعني فرد با تصور گفتاري كه قادر به بيان آن نيست، دستوري به اين سيستم بدهد. فناوري الكتروانسفالوگرافي (EEG) به‌عنوان رايج‌ترين راه‌حل غيرتهاجمي موجود براي استخراج سيگنال‌هاي مغزي براي واسط مغز-رايانه عمل مي‌كند. بر اين اساس اين پژوهش هدف دارد تصور گفتاري مبتني بر EEG را در سيستم‌هاي واسط مغز-رايانه توسعه دهد. بسياري از پژوهش‌هاي اين حوزه، طبقه‌بندي انواع مختلفي از گفتار تصورشده اعم از آواها، سيلاب‌ها و كلمات را از طريق سيگنال‌هاي EEG مورد تحقيق قرار داده‌اند. با علم بر اينكه سيگنال EEG يك سري زماني ناايستا است و در طول زمان مشخصات آن پايدار نيستند، مي‌توان رويكردي نو در استخراج ويژگي را در اين پژوهش مشاهده كرد. از اين‌رو سيگنال‌هاي EEG 8 فرد نمونه غيرفارسي زبان به هنگام تصور گفتاري 7 واج/سيلاب و 4 واژه به‌كار گرفته شده‌اند. با توجه به ديناميكي‌بودن و غيرخطي‌بودن سيستم اعصاب مركزي، آشوب به‌عنوان بستري براي تحليل سيگنال EEG معرفي شد. بدين ترتيب، سيگنال يك‌بُعدي EEG به‌عنوان نماينده‌اي از اين سيستم آشوب‌گونه مي‌تواند فضاي حالت چندبُعدي را كه توصيفي از سيستم اعصاب مركزي است، بسازد. اين پژوهش هركدام از نقاط اين فضاي حالت را بررسي مي‌كند و از بازگشت هر نقطه به مكان قبلي خودش تحت عنوان نقشه بازگشت بهره مي‌برد. نقشه‌هاي بازگشت دوبُعدي كه هنگام تصور هر كدام از 11 نويسه مورد نظر استخراج شدند، به‌عنوان ورودي به شبكه از پيش‌آموزش‌ديده VGG-16، MLP و SVM براي دسته‌بندي وارد مي‌شوند. درنهايت، بالاترين نتايج طبقه‌بندي با كمك شبكه عميق VGG-16 در سه بخش حاصل شد: 1. طبقه‌بندي دو كلاسي كه به‌طور متوسط در ميان 8 فرد شركت‌كننده به بالاترين نرخ طبقه‌بندي 48/98 درصد منجر شد، 2. طبقه‌بندي چند كلاسي كه به‌طور ميانگين در بين 8 فرد نمونه، دقت 18/86 درصد در طبقه‌بندي 11 نوع گفتار حاصل شد، 3. طبقه‌بندي چند كلاسي با رويكرد هر فرد به‌عنوان داده آزمون كه به دقت متوسط 59/83 درصد در ميان 8 فرد نمونه رسيد. اين نتايج همگي با مطالعات مرتبط و به‌روز مقايسه شدند و برتري روش پيشنهادي را تأييد كردند.
چكيده انگليسي :
The brain-computer interface (BCI) system has the ability to provide a new generation of applications that are independent of muscle activity and controlled by the human brain. For patients with lock-in syndrome, who in the worst case can only express their desires by blinking, an ideal communication system is imagined speech-based BCI. That is, a person gives instructions to this system by imagining a speech that he is not able to express. Electroencephalography (EEG) is the most common non-invasive solution available for the extraction of brain signals for the BCI. Therefore, this study aims to develop EEG-based imagined speech decoding in BCI systems. Many studies in this field have investigated the classification of various types of imagined speech, including vowels, syllables, and words, through EEG signals. Knowing that the EEG signal is a non-stationary time series and its properties are not stable over time, a new approach to feature extraction can be observed in this study. Hence, the EEG signals of 8 non-Persian persons are used when imagining 7 phonemes/syllables and 4 words. Due to the dynamics and nonlinearity of the central nervous system, chaos was introduced as a platform for EEG signal analysis. Thus, the one-dimensional EEG signal as a representative of this chaotic system can create a multidimensional state space that is a description of the central nervous system. This study examines each point of this state space and uses the return of each point to its previous location as a recurrence plot. The two-dimensional recurrence plots extracted when imaging each of the 11 prompts, are entered as input to the VGG-16 pre-trained network, MLP and SVM for classification. Finally, the highest classification results were obtained using the VGG-16 in three sections: 1. Classification of two classes, which resulted in an average classification performance of 98.48% among the 8 participants, 2. Classification multi-class, which averaged among 8 sample individuals, accuracy 86.18% was obtained in the classification of 11 types of speech, 3. Multi-class classification with the approach of each person as a test data that reached an average accuracy of 83.59% among the 8 sample people. These results were all compared with relevant and up-to-date studies and confirmed the superiority of the proposed method.
