作者:Ali Bulent Usakli and Serkan Gurkan Design of a Novel Efficient Human–Computer Interface: An Electrooculoagram Based Virtual Keyboard 出處:IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, VOL. 59, NO. 8, AUGUST 2010 作者:Ali Bulent Usakli and Serkan Gurkan 報告者:洪家楠 一種新型高效的人機設計的介面:基於眼電圖虛擬鍵盤
Outline 1.INTRODUCTION 2.HCIs 3.NEW EOG-BASED SYSTEM 4.RESULTS AND DISCUSSION 5.CONCLUSION 1.介紹 2.人機界面 3.一個新的以眼電圖為基底的系統 4.結果與討論 5.結論
1.INTRODUCTION It is assumed that the population of people aged 60 and beyond will range from one to three in 2030 Considering life span extension and the handicapped, the need for a human–computer interface (HCI) has been increasing 這是假設的人年齡在60歲及以後的人口將在2030年[1]一至三個範圍。考慮延長壽命和殘疾人,為人機互動(HCI)的需求不斷增加.
INTRODUCTION(2) Cognitive functions are generally normal, patients with amyotrophic lateral sclerosis Other tetraplegic clinical conditions (e.g., the locked-in syndrome) have severe disabilities in moving their whole bodies. 大腦認知功能一般是正常的,與肌肉萎縮性側索硬化症的患者或 其他四肢癱瘓的臨床條件(例如,閉鎖症候群)移動整個身體有嚴重殘疾。
INTRODUCTION(3) Some of these patients can only move their eyeballs. Establishing a new channel without overt speaking and hand/arm motions makes life easier for patients and therefore improves their life quality. 有些病人只能移動他們的眼球。沒有明顯的的言說方式及手/手臂運動構建一個新的渠道,使病人的生活更輕鬆,從而提高他們的生活質量。
INTRODUCTION(4) Paralyzed stroke patients are unable to normally communicate with their environment. their body that is under their control, in terms of muscular movement, is their eyeballs. 癱瘓的中風患者無法正常溝通,他們的環境,他們的身體是他們的眼球。
INTRODUCTION(5) As a review of the state of the art of electrooculogram (EOG) systems, there are several EOG-based HCI applications for different purposes in the literature. Our motivation is to increase the quality of life of these patients using an HCI that provides an efficient communication channel. 作為評論眼電圖(EOG)系統的藝術狀態,有幾個眼電基於HCI在文學的不同用途的應用。 我們的動機是,這些患者使用的人機互動提供了一個有效的溝通渠道,提高生活品質。
2.HCIs(human-computer interface) The interface that provides control of machines for disabled people is called manmachine interface (MMI) in general. If control can be made by using a computer-based (or microcomputer-based) system, it is called HCI, instead of MMI, which has the same meaning. 提供為殘疾人士的機器控制的界面被稱為一般的人機界面(MMI)。 如果可以通過使用基於計算機的系統(或微機)控制,它被稱為的HCI而不是人機界面,具有相同的含義。
HCI(2) The electrical signals generated by the human brain that are related to body functions are called an electroencephalogram (EEG). If the assistive system is based on EEG, it is called the brain computer interface (BCI), and its applications for severely disabled people are increasing. 人類身體功能有關的大腦產生的電信號被稱為腦電圖(EEG)。如果基於腦電圖的輔助系統,它被稱為“腦機介面(BCI),為嚴重殘疾人士及其應用正在增加。 一個腦電圖(ECOG),也可用於BCI的控制信號。雖然他們是相當昂貴的,基於腦電系統相比,腦磁波儀為基礎的系統,可用於BCI的。在本文中,我們重點比較眼電為基礎的系統上只有腦電圖基於BCI系統。在隨後的章節中,都腦電和EOG基於系統將稍後解釋。
HCI(3) A. EEG-Based HCI Systems B. EOG-Based HCI Systems C. EOG Measurement A.基於腦波圖的人機互動系統 B.基於眼電圖,人機交互系統 C.眼球動向的測量
EEG-Based HCI Systems EEG-based systems are the most commonly used in HCI applications because of the possibility of noninvasive measurement on the scalp. BCI systems are generally EEG-based systems and can translate brain activity into electrical signals that control external devices. 腦電圖為基礎的系統是最常用的人機交互的應用程序使用,因為在頭皮上的非侵入性測量的可能性。 BCI系統通常是基於腦電系統和可以轉換成電信號,控制外部設備的大腦活動
EEG-Based HCI Systems(2) BCI systems can provide a communication and control channel That bypasses conventional neuromuscular pathways involved in speaking or making movements to manipulate objects. BCI系統可以提供一個交流和控制通道,繞過在說話或做動作來操縱對象涉及傳統的神經肌肉途徑。 腦機介面(brain-computer interface, BCI) 是在人或動物腦(或者腦細胞的培養物)與外部設備間建立的直接連接通路。在單向腦機介面的情況下,計算機或者接受腦傳來的命令,或者發送信號到腦(例如視頻重建),但不能同時發送和接收信號[1]。而雙向腦機介面允許腦和外部設備間的雙向信息交換。
EOG-Based HCI Systems Electroculography is a technique for measuring the resting potential of the eye, and the resulting signal is called EOG. These signals show certain patterns for each kind of eye movement (left, right, up, down, and blink). 眼電圖是測量眼睛的靜息電位的技術,以及由此產生的信號被稱為眼電圖。 這些信號表明,特定的模式,每一種眼球運動(左,右,上,下,和閃爍)。
EOG-Based HCI Systems(2) An EOG-based virtual keyboard provides a means for paralyzed patients to type letters onto a monitor with eye movements without using the normal keyboard. Most of the research in this research field focused on translating four eye movements (left, right, up, and down) and eye blink to select characters from the monitor for typing onto the screen (i.e., speller). 基於眼動虛擬鍵盤提供了一個癱瘓病人字母,而使用普通鍵盤輸入到一個與眼球運動監視器的手段。 大部分研究集中在這一領域的研究,翻譯四個眼球運動(左,右,向上和向下)和眨眼選擇顯示器的字符輸入到屏幕上(即,拼寫)。
EOG-Based HCI Systems(3) Considering EOG signal properties, EOG-based HCI systems are more efficient than EEG-based systems in some cases. When light comes to this layer, the nervous system transmits the signal to the visual cortex in the brain. The eyes are rotated by six muscles, and the eyeballs make these movements. 在某些情況下,考慮眼動信號特性,基於眼電圖的人機互動系統比基於腦電圖系統更有效 當光線來這一層,神經系統的信號傳遞到大腦中的視覺皮層。眼睛是旋轉,由六個肌肉和眼球做這些動作。
EOG-Based HCI Systems(4) 1) Saccadic 2) Vergence 3) Pursuit 4) Vestibular occular reflex (VOR): 5) Optokinetic response (OKR): 1)眼球跳動:如果到兩側的圖像顯示,眼球運動被稱為眼球跳動。 2)聚焦:如果一個來自一個遙遠的對象看起來附近的一個對象,聚焦眼球運動產生。這些都是比眼跳的慢得多。 3)尋踪:發生這種情況時,物體移動。 4)前庭眼球反射(VOR):如果頭部移動,映入眼簾的是在一個狀態,這是非常類似於追尋,而是對整個視網膜,不只是凹。 VOR的響應速度遠遠比追尋系統。 5)視覺反應(OKR):OKR被激活時滑倒在視網膜的大部分世界上的形象。的VOR不起作用緩慢的長期運動。在這種情況下,通過OKR視力協助的VOR。
EOG-Based HCI Systems(5) 圖1。(一)人眼的交叉部分。 (二)眼動信號的變化 水平眼球運動和眼肌的偶極子模型。
EOG Measurement Recordings in EOG signal measurement electrodes 眼球動向測量 所有生物信號記錄眼電圖信號測量電極是由於生物電源轉換成電信號的生物電位信號轉換中使用的初始元素 圖2。生物電測量原理。顯示了簡化的生物電測量
EOG Measurement(2) EOG signals are roughly in the band of about 0–100 Hz and 50–3500 μV. Measurement and processing of the EOG signal are easier than those of EEG (< 100 μV) signals. Compared with EEG signals, EOG signals have greater amplitude. 眼電圖信號大致在0-100 Hz和50-3500μV的頻段。 高於腦電圖(<100μV)信號的眼動信號的測量和處理更容易, 腦電信號相比,眼電圖信號有更大的振幅[16][23]。 水平和垂直眼球運動和眨眼產生很容易分辨的眼電圖信號,即使在時間序列,無需進行預處理。因此,他們並不需要被平均或使用其他複雜的信號處理方法和分類算法,其中腦電信號處理的需要。
3.NEW EOG-BASED SYSTEM In the design of EOG amplifiers, removing dc drift and providing signal linearity are the main research areas. In the design of biopotential amplifiers, saturation due to dc level, dc drift, 50-Hz (or 60-Hz) power line noise, and other noises . 在眼電放大器的設計,消除直流漂移,並提供信號的線性度,是主要的研究領域 在生物電位放大器,飽和DC電平,直流漂移,50赫茲(或60赫茲)電源線雜訊,和這是由系統自己的電子元件和其他操作系統的設備附近造成其他雜訊
NEW EOG-BASED SYSTEM(2) 1) Subject/patient safety must be provided. 2) Electronic noise, particularly power line noise, is reduced as much as possible. 3) Biological signal originality must be kept. 4) Electronic noise and electromagnetic interferences should be considered. 1)須提供主題/患者安全性。 2)電子雜訊,特別是電源線雜訊 ,盡可能減少。 3)必須保持生物信號的原創性。 4)電子雜訊[25]和電磁干擾,應考慮。
NEW EOG-BASED SYSTEM(3) 圖3。電磁場干擾(電容值[30])。箭頭顯示的感應電流。 (一)由於磁場電極電纜環路電壓。 (二)主體的頭由於電場的位移電流導致電極之間電壓下降。 (三)對當事人的身體由於電場的位移電流導致電極之間電壓下降。 (四)此外,這個電流使測量電極和共同放大器引腳之間電壓。
NEW EOG-BASED SYSTEM(4) 1) Two channels for horizontal and vertical eye movements. 2) Use of Ag/AgCl electrodes. 3) By using differentiating approaches, the dc level and power line noise are removed. 4) 10-bit digital resolution. 5) μC-based system. 6) Communication through serial ports. 7) Event marker ability. 8) Battery-powered operation. 9) NN algorithm for classification. 10) The system is realized with available and economical components. 1)兩個渠道橫向和縱向的眼球運動。 2)使用Ag / AgCl電極。 3)通過鑑別方法,直流水平和電源線雜訊將被刪除。 4)10位元數位的模擬器。 5)微控制器系統。 6)通過串流通輸。 7)事件的紀錄能力 _。 8)電池供電。 9)神經網絡分類算法。 10)系統的實現和經濟的組成部分。
NEW EOG-BASED SYSTEM(5) 使用儀表放大器(IA),以減少共模信號,具有較高的共模抑制比(CMRR)是一個很好的解決方案[26] - [30]。整體共模拒斥比 必須大於80分貝為適當生物信號採集。 一些相關研究,範圍在80-136分貝共模拒斥比 獲得生物電的設計報告研究[23],[29][30]。 為了減少隔離電容的影響,電池供電操作是相當有效[23],[30]。此外,為了避免電子雜訊,輸入元件和放大器(單位增益緩衝器或IA)必須具有高輸入阻抗和低偏置電流。這也是為保持信號的原創性必要。
Electronic Circuitry 貝塞爾(Bessel)線性相位濾波器正是由於具有向其截止頻率以下的所有頻率提供等量延時的特性,才被用於音頻設備中,在音頻設備中,必須在不損害頻帶內多信號的相位關係前提下,消除帶外噪聲
Electronic Circuitry(2) 輸入放大器電路 濾掉直流電頻
Electronic Circuitry(3) 圖8。(一)電子卡。 (b)電子電路和電極放置在金屬盒。 (三)紀錄眼動的系統。
NEW EOG-BASED SYSTEM(6) 圖9。用戶界面的主菜單。 (上)實時的水平和垂直 眼電圖信號。 (左中)虛擬鍵盤,允許寫入消息, 包括數字。 (中右)的運動方向控制。 (左下) 個人需要(即,廁所,浴室,飲料,餐)。 (右下)其他需要 (即醫療,睡眠,家庭/朋友,和散步),也可以選擇。
NEW EOG-BASED SYSTEM(7) 圖10。虛擬鍵盤。 (一)有特殊字符。顯示消息在書面的底線是148小號。 (二)P300的虛擬鍵盤拼寫。最後行添加,以提高效率。
NEW EOG-BASED SYSTEM(8) 圖11。子菜單中的需求和立場。 (一)廁所,洗澡,喝, 一頓。 (二)醫療支援,睡眠,人,和散步。 (三)運動/位置。
NEW EOG-BASED SYSTEM(9)
4.RESULTS AND DISCUSSION EOG signal measurements are easier than EEG signal measurements. Because EOG signals are caused by muscle motions In the design of biopotential measurement systems, to reject the common-mode signal 眼電圖信號測量腦電信號的測量更容易。由於眼動信號是由肌肉運動引起的,他們有更高的振幅比,這是由於人類大腦的神經活動的腦電信號。 在生物電測量系統的設計,拒絕共模信號,共模抑制比(CMRR)必須大於80分貝。出於這個原因,使用高CMRR的執行機構是一個很好的解決方案。從主電源,電池電量,放置在一個金屬盒子,並在電生理記錄環境記錄(基於法拉第籠)的分離是更多的有效的解決方案。雙絞線信號電纜使用屏蔽電纜和驅動後衛減少電磁干擾。
RESULTS AND DISCUSSION(2) Although EEG-based HCI systems are common, they are expensive, inefficient, and impractical, compared with EOG based systems for patients who are able to move their eyeballs. 雖然的腦電圖基於人機交互系統是常見的,它們很昂貴,效率低下,且不切實際,誰能夠把他們的眼球的患者眼電為基礎的系統相比。
RESULTS AND DISCUSSION(3) 1) Horizontal and vertical EOG signals are successfully measured. 2) The EOG signals for different eye movements are classified in real time. 3) The realized virtual keyboard . 1)成功地測量水平和垂直眼動信號。 CMRR為88分貝,採樣速率為176赫茲,電子噪聲為0.6μV(PP)。這些指標表明,該系統性能良好。 2)針對不同的眼球運動的眼電圖信號的實時分類,分類性能是95%。使用的神經網絡演算法(歐幾里德距離)。信號並不需要複雜而昂貴的分類算法。 3)實現了虛擬鍵盤,允許用戶寫的消息(包括數字)和一餐,飲料,睡眠,洗澡,散步,與人溝通,醫療支持,和運動方向的需求。
V. CONCLUSION Crucial factors in the design of an EOG-based system include subject/patient safety. Power line noise reduction, and keeping signal originality. 在設計的眼動系統的關鍵因素包括主題/病人安全,減少電源線雜訊,保持信號的獨創性,這也是所有其他生物電測量系統的真實。在這個系統中,以消除直流水平和減少電源線雜訊,如果在一個較大的幅度降低的生物電位信號,它是由電子噪聲的影響較小。由於眼電圖信號相對比的腦電信號,眼電圖,基於人機交互以上腦電圖基於人機交互的效率。幾乎可以被收購的眼電圖信號和條件。
CONCLUSION(2) These properties are speech ability, wheelchair control, and robot arm control. Speech and device motion control with eye movement facility is important in making the life of a severely disabled patient easier. Then, the realized system will be tested by several patients to improve the quality of the graphic interface for better and quick selections of the menu options. 這些屬性是語言能力,輪椅控制,機器人手臂控制。講話和眼球運動設施設備的運動控制是很重要的一個嚴重殘疾的病人的生活更輕鬆。然後,將實現系統測試幾個病人,以提高質量更好,快速選擇菜單選項的圖形界面。