تشخيص تصور گفتار كلمات بازي سنگ، كاغذ، قيچي با استفاده از سيگنال هاي EEG

Decoding Speech Imagination for Words of Rock-Paper-Scissors Game using EEG Signals

درك صحبت ­هاي افراد بدون نياز به بيان و تنها با استفاده از رمزگشايي سيگنال هاي مغزي در هنگام تصور گفتار، يكي از بروزترين تحقيقات در زمينه هوش مصنوعي مي­باشد. سومين مسابقه ملي واسط مغز و رايانه كه توسط مركز ملي نقشه برداري مغز ايران در سال 1399 برگزار گرديد به دسته ­بندي تصور گفتار براي سه كلمه سنگ، كاغذ و قيچي اختصاص يافت. در اين مسابقه نويسندگان اين مقاله با استفاده از تجزيه بسته ­هاي موجك و الگوي مكاني مشترك و بكارگيري دسته­بندهاي مختلف توانستند مقام دوم را كسب نمايند. دسته­بندهاي ماشين بردار پشتيبان، k- نزديك­ترين همسايه، جنگل تصادفي، رگرسيون لجستيك ، XGBoost و مدل يادگيري عميق Dense را بصورت جداگانه براي هر فرد و همچنين بصورت همزمان براي تمامي افراد ارزيابي نموديم و بهترين دقت ميانگين 7/51% حاصل شد. در ادامه اين مدل را با استفاده از روش اسپكتروگرام و شبكه عصبي كانولوشني توسعه داديم و توانستيم به دقت ميانگين 5/76% دست يابيم. اين دقت از بهترين دقت گزارش شده بر روي اين مجموعه داده­ بسيار بهتر بوده است. همچنين عملكرد اين مدل در مقايسه با پژوهش­هاي اخير در اين زمينه بر روي مجموعه داده ­هاي مختلف، برتري دارد.

Recognition of silent speech only by decoding brain signals is one of the latest research in the field of artificial intelligence. The 3rd Iranian national brain-computer interface competition, which was held by the National Brain Mapping Center of Iran in 2020, was dedicated to the classification of imagined speech for the three words of rock-paper-scissors game. In this contest, the authors introduced an approach based on wavelet packets decomposition and common spatial pattern and could win the second place. We evaluated some of the most famous classifiers including support vector machine, k-nearest neighbor, random forest, logistic regression, XGBoost and dense deep learning model separately for each subject and simultaneously for all subjects. The best average accuracy was 51.7%. Then we developed the model using spectrogram and convolutional neural network and achieved average accuracy of 76.5%. The accuracy was much better than the accuracy reported by other researchers on this dataset. Also, the performance of our model is superior to recent research in this field on different datasets.