علوم رایانش و فناوری اطلاعات

کلاسه‌‎بندی چند کلاسه‎‌ی تصور کلمات فارسی در سیگنال‎‌های مغزی

نویسندگان

پژوهشکده برق و فناوری ‎اطلاعات، سازمان پژوهشهای علمی و صنعتی ایران، تهران، ایران

چکیده

گفتار یا مکالمه خاموش  فرایندی است که فرد بدون حرکت دادن عضلات خود برای گفتن کلمه، صدای کلمات را تصور می‌کند. استفاده از سیگنال‌های مغزی شخصی که در حال گفتار خاموش می‌باشد برای تشخیص کلمات واقعی در نظر گرفته شده، می‌تواند گامی بزرگ در جهت کمک به افراد دارای ناتوانی جسمی (مانند سندرم قفل شدگی) برای برقراری ارتباط مؤثر با دیگران باشد. پیشرفت‌های اخیر در فن آوری‌ها و دستگاه‌های ضبط سیگنال‌های مغز، به ویژه الکتروانسفالوگرام (EEG)، این تحقیق را در شناخت گفتار خاموش ممکن کرده است. در حالی که این تحقیقات در گام‌های اولیه است، مطالعات منتشر شده نتایج امیدوار کننده‌ای را نشان داده‌اند.
اگرچه در سطح بین المللی فعالیت‌های متعددی برای شناسایی اصوات در مکالمه خاموش صورت گرفته، ولی تا کنون برای کلمات فارسی کار زیادی انجام نشده است. در این پژوهش سعی کرده‌‎ایم پس از طرح آزمایش و ثبت داده‌‎ها، با روش‌های کلاسه بندی گوناگون و با استناد به ویژگی‌های متنوع، تشخیص بین چند کلمه فارسی انجام گردد. 6 کلمه پر کاربرد فارسی و سکوت برای این منظور انتخاب شده‌‎اند. دقت‎‌های بدست آمده شامل متوسط 60% برای تفکیک بین دو کلمه، متوسط 40% برای تفکیک بین دوکلمه به همراه سکوت و 33%برای 6 کلمه و سکوت روی دادگان دراز مدت است.  این مقادیر بالاتر از متوسط احتمال موفقیت در انتخاب تصادفی ( به ترتیب 50 و  33 و 14درصد) هستند. بعلاوه نتایج حاصل نشان دهندۀ تاثیر بالای عامل "زمان" بر دقت کلاسه‎بندی است بطوری که سیگنال‎‌های با فاصله زمانی زیاد براحتی و با دقت بسیار بالا از یکدیگر تفکیک می‎‌شوند، حتی اگر مربوط به یک فعالیت باشند. برعکس تمایز بین سیگنال‎‌های تقریباً همزمان، حتی هنگام تصور دو کلمۀ متفاوت بسیار مشکل است. همچنین ملاحظه شد که در تمام موارد قدرت تفکیک با افزایش تعداد کانال‎‌های داده افزایش می‎‌یابد. 

کلیدواژه‌ها

  • [1] C. DaSalla, H. Kambara, Y. Koike, M. Sato, “Spatial filtering and single-trial classification of EEG during vowel speech imagery”, Proceedings of the International Convention on Rehabilitation Engineering and Assistive Technology (ICREAT), pp. 1-4, 2009.
  • [2] T. N. Alotaiby, S. A. Alshebeili, T. Alshawi, I. Ahmad, F. E. Abd El-Samie, “EEG seizure detectionand prediction algorithms: A survey”, EURASIP Journal on Advances in Signal Processing, pp.183 ,2014.
  • [3] C. Wang, W. Ding, J. Shan, B. Fang, “A Review of Research on Brain-Computer Interface Based on Imagined Speech”. In: Sun F., Liu H., Fang B. (eds) Cognitive Systems and Signal Processing. ICCSIP 2020. Communications in Computer and Information Science, vol 1397, pp 370-378, 2021.
  • [4] L. Mondada, M. E. Karim, and F. Mondada, “Electroencephalography as implicit communication channel for proximal interaction between humans and robot swarms”, Swarm Intelligence, vol. 10, no. 4, pp.1–19, 2016.
  • [5] K. Tanaka, K. Matsunaga, and H. O. Wang, “Electroencephalogram based control of anelectric wheelchair”, IEEE Transactions on Robotics, vol. 21, no. 4, pp. 762–766, 2005.
  • [6] F. Nijboer, E. W. Sellers, J. Mellinger, M. A. Jordan, T. Matuz, A. Furdea, S. Halder, U. Mochty, D.J. Krusienski, and T. M. Vaughan, “A P300-based brain–computer interface for people with amyotrophic lateral sclerosis”, Clinical neurophysiology, vol. 119, no. 8, pp. 1909-1916, 2008.
  • [7] E. Donchin and Y. Arbel, “P300 based brain computer interfaces: a progress report,Foundations of Augmented Cognition”, Neuroergonomics and Operational Neuroscience, pp. 724–731, 2009.
  • [8] C. S. DaSalla, H. Kambara, M. Sato, and Y. Koike, “Single-trial classification of vowel speech imagery using common spatial patterns”, Neural networks, vol. 22, no. 9, pp. 1334–1339 (2009)
  • [9] Beomjun Min, Jongin Kim, Hyeong-jun Park, Boreom Lee, “Vowel Imagery Decoding toward Silent Speech BCI Using Extreme Learning Machine with Electroencephalogram”, BioMed Research International, vol. 2016, Article ID 2618265, 11 pages, 2016.
  • [10] B. M. Idrees and O. Farooq, Vowel classification using wavelet decomposition during speech imagery, 2016 3rd International Conference on Signal Processing and Integrated Networks (SPIN), Noida, pp. 636- 640 (2016)
  • [11] S. Deng, R. Srinivasan, T. Lappas, and M. D’Zmura, Eeg classification of imagined syllable rhythm using hilbert spectrum methods, Journal of neural engineering, vol. 7, no. 4, p. 046006 (2010)
  • [12] J. Kim, S.-K. Lee, and B. Lee, Eeg classification in a single trial basis for vowel speech perception usingmultivariate empirical mode decomposition, Journal of neural engineering, vol. 11, no. 3, p. 036010 (2014)
  • [13] K. Brigham and B. V. Kumar, Imagined speech classification with eeg signals for silent communication:a preliminary investigation into synthetic telepathy, iCBBE, 2010. IEEE, 2010, pp. 1–4 (2010)
  • [14] M. DZmura, S. Deng, T. Lappas, S. Thorpe, and R. Srinivasan, Toward eeg sensing of imagined speech,HCI 2009. Springer, pp. 40–48. (2009) https://doi.org/10.1007/978-3-642-02574-7 5
  • [15] L. Wang, X. Zhang, X. Zhong, and Y. Zhang, Analysis and classification of speech imagery eeg for bci, Biomedical signal processing and control, vol. 8, no. 6, pp. 901–908 (2013)
  • [16] E. F. Gonz´alez-Casta˜neda, A. A. Torres-Garc´ıa, C. A. Reyes-Garc´ıa, and L. Villase˜nor-Pineda, Sonification and textification: Proposing methods for classifying unspoken words from eeg signals, Biomedical Signal Processing and Control, vol. 37, pp. 82–91 (2017)
  • [17] K. Mohanchandra and S. Saha, A communication paradigm using subvocalized speech: translating brain signals into speech, Augmented Human Research, vol. 1, no. 1, p. 3 (2016)
  • [18] P Saha, M Abdul-Mageed, S Fels, “SPEAK YOUR MIND! Towards Imagined Speech Recognition With Hierarchical Deep Learning”, arXiv preprint, 2019. https://arxiv.org/abs/1904.05746
  • [19]Neupsy Key, https://neupsykey.com/eeg-instrumentation, February 2017.
  • [20] M. Alsaleh, R. Moore, H. Christensen and M. Arvaneh, "Examining Temporal Variations in Recognizing Unspoken Words Using EEG Signals," 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), pp. 976-981, 2018.
  • [21] شرکت طراحی نگاراندیشگان، http://www.negand.com
  • [22] م. اصغری بجستانی، غ. محمدخانی، س. گرگین، و. نفیسی، غ. فراهانی، "طبقه‌‎بندی سیگنال‎های مغزی EEG برای تشخیص بین دو واژه در گفتار خاموش،" پردازش علائم و داده‌ها، دوره ۱۷، شماره 2، ص۱۲۰-۱۱۳، ۱۳۹۹. http://jsdp.rcisp.ac.ir/article-1-843-fa.html
علوم رایانش و فناوری اطلاعات
دوره 18، شماره 2
پاییز و زمستان
آذر 1399