A Predictive Speller Controlled by a Brain-Computer Interface Based on Motor Imagery

by izidny 5:51 PM 7 comments Tugas - THT 3 IMK

TIZIANO D’ALBIS, ROSSELLA BLATT, ROBERTO TEDESCO, LICIA SBATTELLA, and MATTEO MATTEUCCI, Politecnico di Milano

DOI: http://dx.doi.org/10.1145/2362364.2362368

Abstract

Persons suffering from motor disorders have limited possibilities for communicating and normally require assistive technologies to fulfill this primary need. Promising means of providing basic communication abilities to subjects affected by severe motor impairments include brain-computer interfaces (BCIs), that is, systems that directly translate brain signals into device commands, bypassing any muscle or nerve mediation. To date, the use of BCIs for effective verbal communication is yet an open issue, primarily due to the low rates of information transfer that can be achieved with this technology. Still, performance of BCI spelling applications could be considerably improved by a smart user interface design and by the adoption of natural language processing (NLP) techniques for text prediction. The objective of this work is to suggest an approach and a user interface for BCI spelling applications combining state-of-the-art BCI and NLP techniques to maximize the overall communication rate of the system. The BCI paradigm adopted is motor imagery, that is, when the subject imagines moving a certain part of the body, he/she produces modifications to specific brain rhythms that are detected in real-time through an electroencephalogram and translated into commands for a spelling application. By maximizing the overall communication rate, our approach is twofold: on one hand, we maximize the information transfer rate from the control signal, on the other hand, we optimize the way this information is employed for the purpose of verbal communication. The achieved results are satisfactory and comparable with the latest works reported in literature on motor-imagery BCI spellers. For the three subjects tested, we obtained a spelling rate of respectively 3 char/min, 2.7 char/min, and 2 char/min.

Pengkaji: Irfan Zidny (G64120077)

Kemampuan untuk berkomunikasi dengan orang lain adalah salah satu faktor utama yang membuat kehidupan setiap manusia menyenangkan. Individu yang menderita gangguan motorik mungkin memiliki kemungkinan yang terbatas untuk berkomunikasi dan mungkin memerlukan teknologi pendukung untuk memenuhi kebutuhan primer ini. Beberapa orang mungkin telah benar-benar kehilangan kontrol terhadap voluntary otot yang sementara masih sepenuhnya sadar dan sadar akan apa yang terjadi di lingkungan mereka. Ini adalah kasus yang disebut sindrom "Locked-In", yang biasanya disebabkan oleh lesi ke batang otak atau penyakit neurodegenerative.

brain-computer interfaces (BCIs) adalah sarana yang menjanjikan untuk menyediakan komunikasi dasar kemampuan untuk orang menderita gangguan motorik seperti itu. antarmuka otak-komputer adalah sebuah sistem yang melewati setiap otot atau saraf mediasi dan menerjemahkan sinyal yang diperoleh dari otak ke dalam perintah untuk perangkat eksternal. Pendekatan yang paling umum untuk memperoleh sinyal otak noninvasif adalah electro encephalo graphy (EEG) di mana aktivitas listrik yang disebabkan oleh neuron kortikal dirasakan melalui serangkaian elektroda ditempatkan pada kulit kepala subjek, pengguna dapat belajar untuk menghasilkan modifikasi voluntary pada sinyal EEG mereka yang dapat dideteksi secara real-time dan digunakan untuk menghasilkan sinyal kontrol. Sementara komunikasi adalah proses yang kompleks yang membutuhkan seperangkat besar simbol bahasa untuk menyampaikan pesan. Pemetaan besarnya set simbol menjadi sejumlah perintah masukan adalah salah satu tantangan utama. Di sisi lain, bahasa alami mengkodekan pesan dengan cara berlebihan, dan komunikasi verbal ditandai dengan struktur berulang dikenakan oleh aturan tata bahasa dan sintaksis. Oleh karena itu, digunakan teknik natural language processing (NLP) untuk mengeksploitasi redudansi bahasa dan meningkatkan kinerja perangkat bantu komunikasi.

Tujuan dari penulisan paper ini ialah untuk menyarankan sebuah pendekatan dan sebuah UI untuk BCI Spelling application yang mengkombinasi state-of-the-art BCI dan teknik NLP untuk memaksimalkan tingkat komunikasi keseluruhan pada sistem. Paradigma BCI yang diadopsi seperti gambaran motorik, yaitu ketika subjek bergerak membayangkan suatu bagian dari tubuh, menghasilkan modifikasi dengan ritme otak tertentu yang terdeteksi secara real-time melalui electroencephalogram dan diterjemahkan ke dalam perintah untuk aplikasi pengejaan. Dengan memaksimalkan tingkat komunikasi secara keseluruhan, terdapat dua pendekatan: yang pertama, memaksimalkan kecepatan transfer informasi dari sinyal kontrol, kedua, mengoptimalkan cara informasi ini digunakan untuk tujuan komunikasi verbal. Pada isu pertama, kita mendefinisikan fitur Novel yang akan diekstrak dari sinyal EEG dan mempekerjakan teknik pembelajaran state-of-the-art untuk seleksi fitur dan klasifikasi belajar. Sedangkan pada masalah kedua, Mengusulkan sebuah spelling application asli yang redudansi dalam bahasa alami yang digunakan untuk mempercepat pemilihan simbol dan usulan kata yang diberikan selama komposisi.

Salah satu spellers BCI pertama yang telah dikembangkan disebut “Thought Translation Device”. Sistem ini bekerja untuk menghasilkan sinyal kontrol dan mencapai tingkat ejaan sekitar 0,5 Char / min dengan menggunakan binary decision untuk pemilihan simbol. Pada tahun 2003, kelompok yang dipimpin oleh Gert Pfurtscheller mengembangkan "Virtual Keyboard", spelling application dikendalikan oleh dua kelas BCI berdasarkan citra motorik. Dalam versi pertama, sistem melakukan klasifikasi biner pada dua tugas mental yang berbeda, dan pemilihan simbol dilakukan dengan prosedur pencarian dichotomous. Dengan sistem ini, ketiga subjek mencapai tingkat ejaan, masing-masing, 0,85, 1,02, dan 0,67 Char / min. Kemudian, kelompok yang sama mengusulkan versi lain dari Virtual Keyboard yang dikendalikan oleh a voluntary asynchronous modulation of the brain rhythms yang berhubungan dengan tiga tugas motor imagery. prediksi spelling application BCI lainnya dengan pengendalian motor-imagery adalah "Hex-o-Eja"(dari literatur tertulis). Dalam aplikasi ini, huruf ditampilkan dalam hexagons dan pilihan dilakukan secara berputar dan panah dengan cara dua tugas motor imagery yang berbeda. Aplikasi ini telah diuji oleh dua subjek yang tidak terlatih, pencapaian tingkat ejaan antara 2,3 dan 5 Char / menit untuk subjek pertama  dan antara 4,6 dan 7,6 Char / menit untuk subjek kedua.

Spelling application BCI yang penulis ajukan dalam artikel ini mengadopsi synchronized control Paradigm di mana pilihan yang dilakukan sesuai dengan protokol aplikasi terdiri dari empat fase: 1.Preparation, Pada awal tahap persiapan, antarmuka pengguna grafis ditampilkan pada layar dan pesan teks memperingatkan pengguna bahwa sesi ejaan akan dimulai dalam beberapa detik; 2.Thinking, Selama fase ini, sinyal EEG yang diperoleh benar-benar diabaikan. Fase ini berlangsung 3 detik; 3.Recording, subjek melakukan tugas motor imagery yang sesuai dengan target yang dipilih dan sinyal EEG buffer untuk klasifikasi nantinya. Selama fase ini, otak digambarkan pada pusat layar berwarna hijau dan dua bar hijau ditampilkan di sisinya. Ketinggian setiap batang, yaitu, umpan balik visual, sebanding dengan kekuatan karakteristik ritme otak dimana pengguna belajar untuk memodulasi selama motor imagery. Fase ini berlangsung enam detik. 4.Begitu tahap rekaman berakhir, sinyal diklasifikasikan dan sinyal kontrol  yang terkait segera tersedia pada spelling application. Selama fase ini, target yang dipilih berwarna hijau menyediakan pengguna dengan umpan balik langsung tentang hasil klasifikasi. Fase ini berlangsung 500 ms. Di akhir fase ini, sinyal kontrol yang dihasilkan dievaluasi dan pengembalian sistem dalam tahap pemikiran untuk pilihan target baru. Durasi waktu yang terkait dengan fase yang berbeda telah dipilih secara empiris. Setelah serangkaian uji coba tes dengan mata pelajaran yang berbeda. Panjang waktu fase rekaman jelas merupakan trade-off antara jumlah sinyal yang tersedia untuk klasifikasi serta kecepatan seleksi yang dapat dicapai. Penulis tidak secara khusus menyelidiki bagaimana kinerja bervariasi menurut konfigurasi timing yang berbeda; Namun demikian, parameter-parameter ini dapat mudah dikonfigurasi dalam aplikasi, dan solusi yang berbeda dapat diadopsi untuk subjek yang berbeda.

Modul BCI memproses sinyal EEG baku yang diperoleh dari amplifier, mengklasifikasikan tugas motorik imagery yang berbeda, dan menyediakan sebagai output sinyal kontrol untuk ejaan antarmuka. Selain itu, modul ini memberikan sinyal umpan balik yang diperoleh dan dihitung dari  Data EEG yang ditampilkan secara real-time pada antarmuka pengguna. Spelling application menyajikan pilihan kepada pengguna dalam bentuk target grafis untuk target dipilih, yaitu, daerah persegi panjang dengan ekstrim. Sebuah Target mungkin berisi satu set huruf untuk diperluas, saran kata, atau pelengkap. Spelling application menerjemahkan sinyal kontrol yang diterima menjadi pilihan target dan memberikan output teks dalam bahasa alami. Modul ini menerima dari prediksi modul probabilitas simbol dan kata-kata dalam konteks komposisi saat ini untuk mempercepat pemilihan simbol dalam memberikan kata saran. Akhirnya, modul prediksi terus diperbarui dengan pesan yang diterima dari spelling interface.

Pada sistem BCI yang penulis buat merekaa mempertimbangkan empat tugas motor imagery: yaitu motor imagery tangan kiri, tangan kanan, kedua tangan, dan kaki.Menggunakan pemrosesan sinyal dan teknik pembelajaran mesin, modul BCI mengklasifikasikan empat tugas dari sinyal EEG yang diperoleh secara real-time dari kulit kepala subjek. Oleh karena itu penulis mengadopsi BCI processing pipeline yang terdiri dari 6 tahap: (1) Signal acquisition. Sinyal EEG baku diperoleh dari kulit kepala subjek, diamplifikasi,dan di ambil sampel oleh amplifier EEG. (2) Spatial filtering. Sinyal EEG digital spasial disaring,meningkatkan lokalisasi sinyal dan rata-rata semua aktivitas latar belakang yang tidak relevan untuk di klasifikasi. (3) Spectral estimation. Sinyal EEG mengalami estimasi spektral. (4) Feature extraction. Sejumlah fitur, dirancang untuk membedakan motorimagery yang berbeda tugas, yang diambil dari kekuatan spektrum EEG. Sebagai tambahan, umpan balik sinyal diperkirakan secara real-time dari data EEG dan diberikan kepada pengguna antarmuka untuk visualisasi. (5) Feature projection. Fitur vektor diproyeksikan dalam ruang dimensi yang lebih rendah. (6) Classification. Fitur yang diproyeksikan diklasifikasikan, serta kontrol yang sesuai sinyal disediakan untuk spelling application.

Model user interface memegang peranan yang sangat penting dalam desain keseluruhan spelling applicatin baik untuk mencapai goal suatu fungsi juga efisiensi penggunaan berbagai fungsi pada sistem. Fungsional utama persyaratan kami dipertimbangkan dalam desain antarmuka secara ringkas meliputi: memungkinkan komposisi plain text dalam bahasa Inggris dengan menggunakan sinyal kontrol pada tiga atau empat negara yang berbeda. Menyediakan Sejumlah fungsi tambahan yang dapat diaktifkan selama komposisi, misalnya, sintesis pidato, kata penghapusan, dll. Deal Dengan kesalahan yang diperkenalkan oleh klasifikasi BCI salah atau pilihan yang salah.
Dengan pengembangan yang terus berlanjut sistem ini akan sangat bermanfaat dan akan semakin baik dalam membantu cara berkomunikas bagi penderita gangguan motorik.

URL yang saya komentari:

http://hamidatulkhairat.blogspot.com/2015/06/kajian-artikel-ilmiah-imk-introduction_21.html?showComment=1435025770200#c2794298328894508508

http://riskiadii.blogspot.com/2015/06/embodied-cognition-and-magical-future.html?showComment=1435027288076

http://broiwan.blogspot.com/2015/06/tht3-applying-lens-of-sensory.html