TIZIANO D’ALBIS, ROSSELLA BLATT, ROBERTO TEDESCO, LICIA SBATTELLA, and MATTEO
MATTEUCCI, Politecnico di Milano
Abstract
Persons
suffering from motor disorders have limited possibilities for communicating and
normally require assistive technologies to fulfill this primary need. Promising
means of providing basic communication abilities to subjects affected by severe
motor impairments include brain-computer interfaces (BCIs), that is, systems
that directly translate brain signals into device commands, bypassing any muscle
or nerve mediation. To date, the use of BCIs for effective verbal communication
is yet an open issue, primarily due to the low rates of information transfer
that can be achieved with this technology. Still, performance of BCI spelling
applications could be considerably improved by a smart user interface design
and by the adoption of natural language processing (NLP) techniques for text
prediction. The objective of this work is to suggest an approach and a user
interface for BCI spelling applications combining state-of-the-art BCI and NLP
techniques to maximize the overall communication rate of the system. The BCI
paradigm adopted is motor imagery, that is, when the subject imagines moving a
certain part of the body, he/she produces modifications to specific brain
rhythms that are detected in real-time through an electroencephalogram and
translated into commands for a spelling application. By maximizing the overall
communication rate, our approach is twofold: on one hand, we maximize the
information transfer rate from the control signal, on the other hand, we
optimize the way this information is employed for the purpose of verbal
communication. The achieved results are satisfactory and comparable with the
latest works reported in literature on motor-imagery BCI spellers. For the
three subjects tested, we obtained a spelling rate of respectively 3 char/min,
2.7 char/min, and 2 char/min.
Pengkaji: Irfan Zidny (G64120077)
Kemampuan untuk berkomunikasi dengan
orang lain adalah salah satu faktor utama yang membuat kehidupan setiap manusia
menyenangkan. Individu yang menderita gangguan motorik mungkin memiliki
kemungkinan yang terbatas untuk berkomunikasi dan mungkin memerlukan teknologi
pendukung untuk memenuhi kebutuhan primer ini. Beberapa orang mungkin telah benar-benar
kehilangan kontrol terhadap voluntary otot yang sementara masih sepenuhnya
sadar dan sadar akan apa yang terjadi di lingkungan mereka. Ini adalah kasus
yang disebut sindrom "Locked-In",
yang biasanya disebabkan oleh lesi ke batang otak atau penyakit neurodegenerative.
brain-computer
interfaces (BCIs) adalah sarana yang
menjanjikan untuk menyediakan komunikasi dasar kemampuan untuk orang menderita
gangguan motorik seperti itu. antarmuka otak-komputer adalah sebuah sistem yang
melewati setiap otot atau saraf mediasi dan menerjemahkan sinyal yang diperoleh
dari otak ke dalam perintah untuk perangkat eksternal. Pendekatan yang paling
umum untuk memperoleh sinyal otak noninvasif adalah electro encephalo graphy (EEG) di mana aktivitas listrik yang disebabkan
oleh neuron kortikal dirasakan melalui serangkaian elektroda ditempatkan pada
kulit kepala subjek, pengguna dapat belajar untuk menghasilkan modifikasi
voluntary pada sinyal EEG mereka yang dapat dideteksi secara real-time dan digunakan untuk menghasilkan
sinyal kontrol. Sementara komunikasi adalah proses yang kompleks yang membutuhkan
seperangkat besar simbol bahasa untuk menyampaikan pesan. Pemetaan besarnya set
simbol menjadi sejumlah perintah masukan adalah salah satu tantangan utama. Di
sisi lain, bahasa alami mengkodekan pesan dengan cara berlebihan, dan
komunikasi verbal ditandai dengan struktur berulang dikenakan oleh aturan tata
bahasa dan sintaksis. Oleh karena itu, digunakan teknik natural language processing (NLP) untuk mengeksploitasi redudansi bahasa
dan meningkatkan kinerja perangkat bantu komunikasi.
Tujuan dari penulisan paper ini ialah
untuk menyarankan sebuah pendekatan dan sebuah UI untuk BCI Spelling application yang mengkombinasi state-of-the-art BCI dan teknik NLP
untuk memaksimalkan tingkat komunikasi keseluruhan pada sistem. Paradigma BCI
yang diadopsi seperti gambaran motorik, yaitu ketika subjek bergerak
membayangkan suatu bagian dari tubuh, menghasilkan modifikasi dengan ritme otak
tertentu yang terdeteksi secara real-time melalui electroencephalogram dan
diterjemahkan ke dalam perintah untuk aplikasi pengejaan. Dengan memaksimalkan
tingkat komunikasi secara keseluruhan, terdapat dua pendekatan: yang pertama, memaksimalkan
kecepatan transfer informasi dari sinyal kontrol, kedua, mengoptimalkan cara
informasi ini digunakan untuk tujuan komunikasi verbal. Pada isu pertama, kita
mendefinisikan fitur Novel yang akan diekstrak dari sinyal EEG dan mempekerjakan
teknik pembelajaran state-of-the-art
untuk seleksi fitur dan klasifikasi belajar. Sedangkan pada masalah kedua, Mengusulkan
sebuah spelling application asli yang redudansi dalam bahasa alami yang
digunakan untuk mempercepat pemilihan simbol dan usulan kata yang diberikan
selama komposisi.
Salah satu spellers BCI pertama yang
telah dikembangkan disebut “Thought
Translation Device”. Sistem ini bekerja
untuk menghasilkan sinyal kontrol dan mencapai tingkat ejaan sekitar 0,5 Char /
min dengan menggunakan binary decision untuk
pemilihan simbol. Pada tahun 2003, kelompok yang dipimpin oleh Gert
Pfurtscheller mengembangkan "Virtual
Keyboard", spelling application dikendalikan oleh dua kelas BCI berdasarkan
citra motorik. Dalam versi pertama, sistem melakukan klasifikasi biner pada dua
tugas mental yang berbeda, dan pemilihan simbol dilakukan dengan prosedur
pencarian dichotomous. Dengan sistem
ini, ketiga subjek mencapai tingkat ejaan, masing-masing, 0,85, 1,02, dan 0,67
Char / min. Kemudian, kelompok yang sama mengusulkan versi lain dari Virtual Keyboard
yang dikendalikan oleh a voluntary
asynchronous modulation of the brain rhythms yang berhubungan dengan tiga
tugas motor imagery. prediksi spelling
application BCI lainnya dengan pengendalian motor-imagery adalah
"Hex-o-Eja"(dari literatur tertulis). Dalam aplikasi ini, huruf
ditampilkan dalam hexagons dan pilihan dilakukan secara berputar dan panah
dengan cara dua tugas motor imagery yang berbeda. Aplikasi ini telah diuji oleh
dua subjek yang tidak terlatih, pencapaian tingkat ejaan antara 2,3 dan 5 Char
/ menit untuk subjek pertama dan antara
4,6 dan 7,6 Char / menit untuk subjek kedua.
Spelling application BCI yang penulis
ajukan dalam artikel ini mengadopsi synchronized
control Paradigm di mana pilihan yang dilakukan sesuai dengan protokol aplikasi
terdiri dari empat fase: 1.Preparation,
Pada awal tahap persiapan, antarmuka pengguna grafis ditampilkan pada layar dan
pesan teks memperingatkan pengguna bahwa sesi ejaan akan dimulai dalam beberapa
detik; 2.Thinking, Selama fase ini, sinyal EEG yang diperoleh benar-benar
diabaikan. Fase ini berlangsung 3 detik; 3.Recording,
subjek melakukan tugas motor imagery yang sesuai dengan target yang dipilih
dan sinyal EEG buffer untuk klasifikasi nantinya. Selama fase ini, otak
digambarkan pada pusat layar berwarna hijau dan dua bar hijau ditampilkan di
sisinya. Ketinggian setiap batang, yaitu, umpan balik visual, sebanding dengan
kekuatan karakteristik ritme otak dimana pengguna belajar untuk memodulasi
selama motor imagery. Fase ini
berlangsung enam detik. 4.Begitu tahap rekaman berakhir, sinyal
diklasifikasikan dan sinyal kontrol yang
terkait segera tersedia pada spelling application. Selama fase ini, target yang
dipilih berwarna hijau menyediakan pengguna dengan umpan balik langsung tentang
hasil klasifikasi. Fase ini berlangsung 500 ms. Di akhir fase ini, sinyal
kontrol yang dihasilkan dievaluasi dan pengembalian sistem dalam tahap
pemikiran untuk pilihan target baru. Durasi waktu yang terkait dengan fase yang
berbeda telah dipilih secara empiris. Setelah serangkaian uji coba tes dengan
mata pelajaran yang berbeda. Panjang waktu fase rekaman jelas merupakan
trade-off antara jumlah sinyal yang tersedia untuk klasifikasi serta kecepatan
seleksi yang dapat dicapai. Penulis tidak secara khusus menyelidiki bagaimana
kinerja bervariasi menurut konfigurasi timing yang berbeda; Namun demikian,
parameter-parameter ini dapat mudah dikonfigurasi dalam aplikasi, dan solusi
yang berbeda dapat diadopsi untuk subjek yang berbeda.
Modul BCI memproses sinyal EEG baku yang
diperoleh dari amplifier, mengklasifikasikan tugas motorik imagery yang berbeda, dan menyediakan sebagai output sinyal
kontrol untuk ejaan antarmuka. Selain itu, modul ini memberikan sinyal umpan
balik yang diperoleh dan dihitung dari
Data EEG yang ditampilkan secara real-time
pada antarmuka pengguna. Spelling
application menyajikan pilihan kepada pengguna dalam bentuk target grafis
untuk target dipilih, yaitu, daerah persegi panjang dengan ekstrim. Sebuah Target
mungkin berisi satu set huruf untuk diperluas, saran kata, atau pelengkap. Spelling application menerjemahkan
sinyal kontrol yang diterima menjadi pilihan target dan memberikan output teks
dalam bahasa alami. Modul ini menerima dari prediksi modul probabilitas simbol
dan kata-kata dalam konteks komposisi saat ini untuk mempercepat pemilihan
simbol dalam memberikan kata saran. Akhirnya, modul prediksi terus diperbarui
dengan pesan yang diterima dari spelling
interface.
Pada sistem BCI yang penulis buat merekaa
mempertimbangkan empat tugas motor
imagery: yaitu motor imagery
tangan kiri, tangan kanan, kedua tangan, dan kaki.Menggunakan pemrosesan sinyal
dan teknik pembelajaran mesin, modul BCI mengklasifikasikan empat tugas dari
sinyal EEG yang diperoleh secara real-time dari kulit kepala subjek. Oleh
karena itu penulis mengadopsi BCI processing pipeline yang terdiri dari 6
tahap: (1) Signal acquisition. Sinyal
EEG baku diperoleh dari kulit kepala subjek, diamplifikasi,dan di ambil sampel
oleh amplifier EEG. (2) Spatial filtering. Sinyal EEG digital spasial
disaring,meningkatkan lokalisasi sinyal dan rata-rata semua aktivitas latar
belakang yang tidak relevan untuk di klasifikasi. (3) Spectral estimation. Sinyal EEG mengalami estimasi spektral. (4) Feature extraction. Sejumlah fitur,
dirancang untuk membedakan motorimagery yang berbeda tugas, yang diambil dari
kekuatan spektrum EEG. Sebagai tambahan, umpan balik sinyal diperkirakan secara
real-time dari data EEG dan diberikan kepada pengguna antarmuka untuk visualisasi.
(5) Feature projection. Fitur vektor
diproyeksikan dalam ruang dimensi yang lebih rendah. (6) Classification. Fitur yang diproyeksikan diklasifikasikan, serta
kontrol yang sesuai sinyal disediakan untuk spelling
application.
Model user interface memegang peranan yang sangat penting dalam desain
keseluruhan spelling applicatin baik untuk mencapai goal suatu fungsi juga efisiensi
penggunaan berbagai fungsi pada sistem. Fungsional utama persyaratan kami
dipertimbangkan dalam desain antarmuka secara ringkas meliputi: memungkinkan komposisi plain text dalam bahasa
Inggris dengan menggunakan sinyal kontrol pada tiga atau empat negara yang
berbeda. Menyediakan Sejumlah fungsi tambahan yang dapat diaktifkan selama
komposisi, misalnya, sintesis pidato, kata penghapusan, dll. Deal Dengan kesalahan yang diperkenalkan
oleh klasifikasi BCI salah atau pilihan yang salah.
Dengan pengembangan yang terus berlanjut sistem ini akan sangat bermanfaat dan akan semakin baik dalam membantu cara berkomunikas bagi penderita gangguan motorik.
URL yang saya komentari:
http://hamidatulkhairat.blogspot.com/2015/06/kajian-artikel-ilmiah-imk-introduction_21.html?showComment=1435025770200#c2794298328894508508
http://riskiadii.blogspot.com/2015/06/embodied-cognition-and-magical-future.html?showComment=1435027288076
http://broiwan.blogspot.com/2015/06/tht3-applying-lens-of-sensory.html