第一篇：個人移動智能終端與中職語文課程整合研究

個人移動智能終端與中職語文課程整合研究

摘要：在個人移動網(wǎng)絡(luò)化時代，能夠隨時隨地買賣支付，分享傳遞信息，展示特別自我，每個人隨時隨地都成為了網(wǎng)絡(luò)的一份子。在個人與網(wǎng)絡(luò)如此緊密聯(lián)系的前提下，中職語文教學(xué)面臨著與中職學(xué)生手中的個人移動智能終端（手機，平板電腦等）激烈競爭的嚴(yán)重困境。因此，加強個人移動智能終端與中職語文課程內(nèi)容的全面整合，給中職語文教學(xué)改革帶來了前所未有的新思路。個人移動智能終端與中職語文教學(xué)環(huán)節(jié)、教學(xué)方法、教學(xué)內(nèi)容的整合具有重大意義，經(jīng)過整合、組合、相互融合，在整體優(yōu)化的基礎(chǔ)上產(chǎn)生聚集效應(yīng)，激發(fā)學(xué)生的學(xué)習(xí)熱情、拓寬學(xué)習(xí)渠道、提升教師的課堂教學(xué)技能，對推動中職語文教學(xué)改革和提高中職學(xué)生的語言運用能力具有一定的現(xiàn)實價值，從而高效完成中職語文的課程任務(wù)。關(guān)鍵詞：個人移動網(wǎng)絡(luò)終端； 中職語文； 整合

在個人移動網(wǎng)絡(luò)化時代，個人移動智能終端滲透到了社會生活的各個方面，對于教育的影響也日漸深入。中職語文作為一門公共基礎(chǔ)課程，如何實現(xiàn)與個人移動智能終端的有效整合對于提升中職學(xué)生的綜合能力有著重要意義。

一、個人移動智能終端與中職語文課程整合的內(nèi)涵

移動終端作為簡單通信設(shè)備伴隨移動通信發(fā)展已有幾十年的歷史。移動終端或者叫個人移動通信終端是指可以在移動中使用的計算機設(shè)備，廣義的講包括手機、筆記本、平板電腦、POS機甚至包括車載電腦。但是大部分情況下是指手機或者具有多種應(yīng)用功能的智能手機以及平板電腦。自2007年開始，智能化引發(fā)了移動終端基因突變，從根本上改變了終端作為移動網(wǎng)絡(luò)末梢的傳統(tǒng)定位。個人移動智能終端幾乎在一瞬之間轉(zhuǎn)變?yōu)榛ヂ?lián)網(wǎng)業(yè)務(wù)的關(guān)鍵入口和主要創(chuàng)新平臺，新型媒體、電子商務(wù)和信息服務(wù)平臺，互聯(lián)網(wǎng)資源、移動網(wǎng)絡(luò)資源與環(huán)境交互資源的最重要樞紐，其操作系統(tǒng)和處理器芯片甚至成為當(dāng)今整個ICT產(chǎn)業(yè)的戰(zhàn)略制高點。移動智能終端引發(fā)的顛覆性變革揭開了移動互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的序幕，開啟了一個新的技術(shù)產(chǎn)業(yè)周期。隨著個人移動智能終端的持續(xù)發(fā)展，其影響力將比肩收音機、電視和互聯(lián)網(wǎng)(PC)，成為人類歷史上第4個滲透廣泛、普及迅速、影響巨大、深入至人類社會生活方方面面的終端產(chǎn)品。

“教育教學(xué)中的整合就是運用系統(tǒng)科學(xué)方法，在教育學(xué)、心理學(xué)和教育技術(shù)學(xué)等教育理論和學(xué)習(xí)理論指導(dǎo)下的教學(xué)資源和教學(xué)要素的有機結(jié)合:在整合過程中要協(xié)調(diào)教育教學(xué)系統(tǒng)中教師、中職生、教育內(nèi)容和教學(xué)媒體等教學(xué)諸元素的作用、聯(lián)系和相互之間的影響，使整個教學(xué)系統(tǒng)保持協(xié)調(diào)一致，維持整體過程或結(jié)果，從而產(chǎn)生聚集效應(yīng)” ［1］。整合的目的在于發(fā)揮個人移動智能終端的特點與優(yōu)勢，幫助教師開展高效的教學(xué)活動，從而提高教學(xué)效率，實現(xiàn)中職學(xué)生能力水平的提升。

基于學(xué)者的研究，作者認為中職語文教學(xué)課堂上不應(yīng)該排斥個人移動智能終端的使用，個人移動智能終端與中職語文課程的整合，是指根據(jù)中職語文的課程特點，充分開發(fā)個人移動智能終端的優(yōu)勢，從而高效完成中職語文課程的教學(xué)任務(wù)。

二、個人移動智能終端與中職語文課程整合的意義

當(dāng)前的中職語文教學(xué)地位十分尷尬，首先大部分中職學(xué)生在小學(xué)初中的語文學(xué)習(xí)時期沒有打好基礎(chǔ)，在中職語文學(xué)習(xí)期間缺乏信心動力，其次部分班主任及輔導(dǎo)員在教學(xué)督導(dǎo)宣傳過程中消極宣傳“文化課無用論”,另外部分學(xué)校對于文化課與專業(yè)課教學(xué)管理的區(qū)別對待，以及甚至忽視管理，讓語文，數(shù)學(xué)，英語，德育，職業(yè)指導(dǎo)，心理健康等課程變成部分專業(yè)課程老師的兼職課程。此種情況在民辦中職學(xué)校屢見不鮮。鑒于以上原因，中職語文教學(xué)質(zhì)量良莠不齊。面臨這種困境，我們迫切培養(yǎng)學(xué)生的語文學(xué)習(xí)興趣，發(fā)揮語文的教育功能。個人移動智能終端為中職語文課程提供了物質(zhì)平臺和教學(xué)環(huán)境，個人移動智能終端與語文課程的整合應(yīng)用，代表了當(dāng)今語文教學(xué)的發(fā)展趨勢。

（一）激發(fā)學(xué)生的學(xué)習(xí)興趣

愛因斯坦說過:“興趣是最好的老師?！睂W(xué)生對所學(xué)的內(nèi)容感興趣，才會激發(fā)內(nèi)在的學(xué)習(xí)動力，個人移動智能終端，能提供大量的圖、文、聲、像信息，為學(xué)生提供多種感官的綜合刺激，充分調(diào)動學(xué)生的學(xué)習(xí)熱情。語文教材中的許多作品文字優(yōu)美，意境豐富，例如，在語文課《致橡樹》中，就可以讓學(xué)生用個人移動智能終端自主搜索相關(guān)的朗誦音頻，然后相互比較，模仿朗誦，最終感受文學(xué)的優(yōu)美。

（二）拓寬學(xué)習(xí)渠道

語文是一門知識綜合性很強的學(xué)科，網(wǎng)絡(luò)豐富的資源、數(shù)字化圖書館、電子讀物等，為學(xué)生提供豐富的信息知識，跨越了學(xué)習(xí)語文知識的時空限制。通過個人移動智能終端，學(xué)生可以獲取多樣的資料，在課上或在電腦上與老師、同學(xué)進行在線交流、討論，對大量的信息進行分析、加工，然后根據(jù)自身的需要加以充分的利用。在這個過程中，學(xué)生的語文綜合能力得到了培養(yǎng)和提高。

（三）促進教師與學(xué)生的交流

在個人移動智能環(huán)境下，語文教師可以即時與學(xué)生交流個人智能終端的共享信息導(dǎo)入新課。在無形中拉近老師與學(xué)生的距離，在不斷的交流與碰撞過程中，學(xué)生不斷學(xué)習(xí)到了知識技能，而且學(xué)會了自主篩選信息的自主學(xué)習(xí)能力。

三、個人移動智能終端與中職語文課程整合的路徑

（一）個人移動智能終端與中職語文教學(xué)環(huán)節(jié)的整合

首先，教師在上課前，利用個人移動智能終端查閱與教學(xué)相關(guān)的各類素材，如詩歌、散文、短評等，做好充分的授課準(zhǔn)備，并且把自己準(zhǔn)備的內(nèi)容運用網(wǎng)絡(luò)使學(xué)生共享。其次，在教學(xué)之中，利用網(wǎng)絡(luò)和多媒體信息量大、圖文并茂、方便快速的技術(shù)性能，幫助學(xué)生學(xué)習(xí)字詞，分析語言，理解文章，收到事半功倍的效果。如在學(xué)習(xí)古代文學(xué)這部分時，由于這些知識在現(xiàn)實交際中使用很少，同時缺乏相應(yīng)的生活場景鋪墊。因此，為了更好地理解文章內(nèi)容，可以引導(dǎo)學(xué)生在個人移動智能終端搜索與所學(xué)內(nèi)容相關(guān)的文字或圖片素材，通過相互交流，彼此溝通，從而在頭腦中構(gòu)建起相應(yīng)的知識背景，為后續(xù)學(xué)習(xí)打下良好的感性基礎(chǔ)。如學(xué)習(xí)《水滸傳》，在讓學(xué)生掌握相關(guān)知識的基礎(chǔ)上，讓學(xué)生欣賞電視劇《水滸傳》中的精彩片斷，使其觀其色、聽其音、看其像，如臨其境，從而加深對課文的整體理解。

(二)個人移動智能終端與中職語文教學(xué)方法的整合

中職語文課本中選取了很多經(jīng)典作品，誦讀是學(xué)習(xí)這些作品的一個首要方法。可以利用多媒體課件配上優(yōu)美的背景音樂和適當(dāng)?shù)膱D像，營造一種美的氛圍，讓學(xué)生覺得誦讀不再枯燥，而是享受，從而使學(xué)生樂于學(xué)習(xí)，在輕松的氛圍中提高審美情趣。在充分誦讀的基礎(chǔ)上，學(xué)生可以利用個人移動智能終端查閱相關(guān)的資料，如作者生平，寫作背景等，加深對作者的了解和對作品的理解，培育學(xué)生主動學(xué)習(xí)的習(xí)慣和勇于思考的精神。在獲取資料的基礎(chǔ)上，進行交流性的學(xué)習(xí)，網(wǎng)絡(luò)打破了課堂的時空限制，師生之間的交流更為快捷和廣泛，信息反饋也更為及時，提高了教學(xué)效率。(三)個人智能終端與中職語文教學(xué)內(nèi)容的整合

1、閱讀教學(xué)的整合

長期以來，我們的老師還是襲用傳統(tǒng)的閱讀教學(xué)方法，先是閱讀預(yù)習(xí)提示，接下來是作者、背景介紹，然后就是篇章、段落的解析課文。千篇一律，學(xué)生聽的興趣索然，教師覺的花了大力氣但收效甚微。現(xiàn)代信息技術(shù)與閱讀教學(xué)的整合大大激發(fā)了學(xué)生的閱讀興趣。

在閱讀教學(xué)中，運用個人移動智能終端，讓學(xué)生積極參與到教學(xué)過程中，發(fā)揮學(xué)生學(xué)習(xí)的內(nèi)在動力，從而提高教學(xué)效率。例如在《靜女》鑒賞時，教學(xué)內(nèi)容是掌握《詩經(jīng)》的基本知識，鑒賞《詩經(jīng)》中以愛情為主題的詩歌，提高鑒賞詩歌的能力。教學(xué)過程如下：（1）學(xué)生可以迅速從個人移動網(wǎng)絡(luò)終端，查找《詩經(jīng)》的相關(guān)知識，用幻燈片的形式向師生展示。（2）配樂朗誦《靜女》，并輔以畫面。（3）播放一段視頻并展示一些圖片，讓學(xué)生對當(dāng)時的倫理道德風(fēng)尚有所了解。（4）提出問題，《靜女》寫一對青年男女幽會的情景。你認為哪個地方的描寫最具有生活情趣？為什么男青年喜歡姑娘送的這些禮物？（5）能力拓展:有興趣的同學(xué)可試著把《靜女》改寫成五言詩或七言詩或現(xiàn)代詩，你對當(dāng)代人的愛情有怎樣的理解。（6）相互交流與評價，學(xué)生將自己的作品在同學(xué)之間，甚至在個人上進行交流，相互評價。

2、寫作教學(xué)的整合

寫作一直是中職語文教學(xué)的一大難題，學(xué)生沒有興趣，寫作時無話可說，難以下筆，教師批改任務(wù)繁重，不能與學(xué)生進行及時交流，而個人智能終端卻可以彌補這些不足。通過創(chuàng)設(shè)情境，激發(fā)學(xué)生的寫作熱情，同時，網(wǎng)絡(luò)包羅萬象，為學(xué)生提供豐富素材，使學(xué)生有話可說。而且個人移動智能終端使作文修改十分便捷，省去了抄寫的負擔(dān)，既可小作修改也可大刀闊斧。教師對個別作文的點評，都可公開到全體學(xué)生面前，產(chǎn)生平行性教育的效果。對學(xué)生作文的成績評價，可以把點擊率和收到的評語數(shù)量作為作文成績的主要依據(jù)，實行網(wǎng)上開放化的教學(xué)評價。例如寫作《我的中職生活》，教學(xué)過程如下。（1）創(chuàng)設(shè)情境，把教師自己的大學(xué)生活講述給學(xué)生，激發(fā)他們的寫作熱情，引導(dǎo)他們從平淡的生活挖掘出精彩，使他們有話可說，有話想說。（2）搜集素材，學(xué)生可上網(wǎng)查閱相關(guān)素材，拓寬寫作思路。（3）完稿，學(xué)生把構(gòu)思好的內(nèi)容輸入到計算機，轉(zhuǎn)化成書面語言。（4）批改，教師進行批改或同學(xué)互改交流。最后，把優(yōu)秀作文放到網(wǎng)上，讓學(xué)生共享?？傊?，現(xiàn)代信息技術(shù)的運用，給我們的寫作教學(xué)提供了一個全新的發(fā)展領(lǐng)域，它另辟蹊徑，打破了傳統(tǒng)教學(xué)僵化、冷漠的面孔，變得更加生動活潑，更為貼近學(xué)生的實際，實為改善寫作教學(xué)的一條有力途徑。

語言學(xué)習(xí)是一門實踐性非常強的課程，需要學(xué)生課上課下進行大量的訓(xùn)練，中職語文與個人智能終端現(xiàn)代信息技術(shù)的有效整合，不僅把教學(xué)活動場所設(shè)定在以多媒體和網(wǎng)絡(luò)為基礎(chǔ)的信息化環(huán)境中，教師可以利用用于教學(xué)的計算機網(wǎng)絡(luò)，動態(tài)、連續(xù)地把教學(xué)內(nèi)容發(fā)布給學(xué)生作為學(xué)習(xí)資源，還能夠以個人移動智能終端為手段，推進課程改革，帶動教師團隊素質(zhì)和能力的提高。總之，中職語文教學(xué)必須緊扣時代脈搏，做到與時俱進。

參考文獻：

［1］荊金奎.信息技術(shù)在基礎(chǔ)教育中的應(yīng)用[M].青島:山東教育出版社，2006：25

第二篇：基于智能移動終端的工廠監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)

基于智能移動終端的工廠監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)

張川 蔡其星

浙江中控技術(shù)股份有限公司，浙江杭州，310053

摘要：工業(yè)自動化監(jiān)控系統(tǒng)在各種工業(yè)生產(chǎn)領(lǐng)域廣泛應(yīng)用，大大提高了工業(yè)生產(chǎn)效率和生產(chǎn)安全性，節(jié)省了生產(chǎn)成本。傳統(tǒng)的監(jiān)控系統(tǒng)多為基于專用設(shè)備和PC實現(xiàn)，便攜性差，價格昂貴。近年來，電力、油氣傳輸、化工等行業(yè)對移動數(shù)據(jù)監(jiān)控的需求越來越強烈，移動工廠的理念也逐漸形成。針對以上問題，本文設(shè)計了能夠運行在IOS智能移動終端上的監(jiān)控系統(tǒng)，利用移動終端遠程無線傳輸、攜帶方便等優(yōu)勢，實現(xiàn)現(xiàn)場數(shù)據(jù)遠程傳輸和數(shù)據(jù)查詢，降低產(chǎn)品價格，減少投資成本，提高競爭力。從而，使得移動工廠實施成為可能。

關(guān)鍵字：IOS、監(jiān)控系統(tǒng)、移動終端、報警推送

Design and Implementation of Plant Monitoring System Based on Intelligent

Mobile Terminal

Chuan Zhang Qixing Cai

Zhejiang SUPCON Technology Co., Ltd., Hangzhou, Zhejiang, 310053

Abstract: Industrial automatic monitoring system is wildly applied in various industry production fields, which largely improves the efficiency and security of industry production and reduces production cost.Most traditional monitoring systems are implemented basing on special device and PC, which have poor portability and high price.Nowadays, industries such as electric power, oil and gas transportation and chemical industry increase their requirements for mobile data monitoring, and the theory of mobile plant is formed gradually.Thus, this article introduces the monitoring system for IOS intelligent mobile terminal.With the advantages of mobile terminal like remote wireless transmission and good portability, it realizes field data remote transmission and data query, reduces product price and investment cost and improves competitiveness.Thereby, the mobile plant implementation can be achieved.Keywords: IOS, monitoring system, mobile terminal, alarm push 引言

現(xiàn)有的工廠數(shù)據(jù)監(jiān)控系統(tǒng)多基于PC運行，數(shù)據(jù)傳輸基于專用封閉式網(wǎng)絡(luò)，便攜式式差，成本高，難以實現(xiàn)異地數(shù)據(jù)查看。隨著移動網(wǎng)絡(luò)及智能移動終端硬件設(shè)備的日益發(fā)展，采用智能移動終端隨時隨地查看工廠生產(chǎn)實時數(shù)據(jù)的技術(shù)成為研究的熱點和趨勢。本文對基于移動智能終端的數(shù)據(jù)監(jiān)控系統(tǒng)作了初步研究和探討，設(shè)計了一款基于IOS移動終端平臺的數(shù)據(jù)監(jiān)控系統(tǒng)（SIMField）。實現(xiàn)了無需專用PC，只需通過智能移動終端即可查看工廠生產(chǎn)的實時數(shù)據(jù)。

本文闡述了移動終端數(shù)據(jù)監(jiān)控系統(tǒng)在移動設(shè)備中（主要是IOS設(shè)備）流程圖、報警、報表等功能的設(shè)計與實現(xiàn)，利用移動設(shè)備獨特的圖形處理技術(shù)進行研究與開發(fā)。本系統(tǒng)同時支持與已有運行于PC的監(jiān)控系統(tǒng)進行數(shù)據(jù)互聯(lián)，達到在手機中展示數(shù)據(jù)和報表的目標(biāo)，從而滿足企業(yè)中管理層用戶的需求。移動監(jiān)控系統(tǒng)方案

SIMField系統(tǒng)的主要功能是結(jié)合企業(yè)的生產(chǎn)監(jiān)控系統(tǒng)（如SCADA系統(tǒng)，企業(yè)生產(chǎn)管理系統(tǒng)等）實現(xiàn)移動式監(jiān)控，可以跟原有的PC生產(chǎn)監(jiān)控系統(tǒng)無縫結(jié)合，共享數(shù)據(jù)、報警、流程圖、報表等。

系統(tǒng)架構(gòu)采用B/S系統(tǒng)的一般架構(gòu)模式，采用Web服務(wù)器和瀏覽器客戶端結(jié)合的體系結(jié)構(gòu)。Web服務(wù)器主要功能是提供數(shù)據(jù)、文件服務(wù)、身份認證服務(wù)，通過OPC驅(qū)動獲取異構(gòu)系統(tǒng)的數(shù)據(jù)，移動客戶端采用APP內(nèi)部嵌入WEB頁面的技術(shù)，從Web服務(wù)器獲取頁面數(shù)據(jù)。移動終端監(jiān)控軟件設(shè)計與實現(xiàn) 3.1 系統(tǒng)網(wǎng)絡(luò)部署

SIMField系統(tǒng)的網(wǎng)絡(luò)部署如圖3-1所示。

圖3-1 網(wǎng)絡(luò)部署圖

上圖展現(xiàn)了企業(yè)生產(chǎn)監(jiān)控系統(tǒng)典型的網(wǎng)絡(luò)架構(gòu)。其中PIMS[1]指某一實時監(jiān)控系統(tǒng)，它對生產(chǎn)區(qū)上實行監(jiān)控和生產(chǎn)管理；實時監(jiān)控系統(tǒng)OPC服務(wù)器向第三方系統(tǒng)（如SCADA系統(tǒng)、SIMField服務(wù)器）提供實時數(shù)據(jù)；SIMField服務(wù)器對內(nèi)作為組態(tài)轉(zhuǎn)存服務(wù)，將PIMS監(jiān)控系統(tǒng)組態(tài)信息（流程圖、報表等）進行轉(zhuǎn)存，轉(zhuǎn)換為自身格式組態(tài)存檔，對外為SIMField移動終端提供數(shù)據(jù)。移動終端使用Internet公網(wǎng)或內(nèi)部無線網(wǎng)接入生產(chǎn)監(jiān)控網(wǎng)絡(luò)，訪問SIMFIeld服務(wù)器獲取組態(tài)信息和實時數(shù)據(jù)。

SIMField移動服務(wù)器在整套系統(tǒng)中的主要作用是數(shù)據(jù)中轉(zhuǎn)，文件解析，將生產(chǎn)管理系統(tǒng)中的數(shù)據(jù)和報表、流程圖解析為移動設(shè)備可以顯示的格式。選用OPC作為數(shù)據(jù)傳輸協(xié)議的目的是保證移動服務(wù)器的兼容性。

3.2 數(shù)據(jù)流圖

SIMField服務(wù)器接入三方監(jiān)控系統(tǒng)的組態(tài)數(shù)據(jù)流及實時數(shù)據(jù)流如圖3-2所示。

注[1] PIMS： 企業(yè)生產(chǎn)管理系統(tǒng)，在此處用于給移動監(jiān)控軟件提供數(shù)據(jù)。

圖3-2 數(shù)據(jù)流圖

SIMField服務(wù)器從三方監(jiān)控系統(tǒng)獲取流程圖、報表等組態(tài)信息文件，并進行轉(zhuǎn)化為自身特定格式組態(tài)信息并存儲。通過OPC方式從三方監(jiān)控系統(tǒng)獲取實時監(jiān)控數(shù)據(jù)。

3.3 SIMField主要功能模塊

3.3.1 服務(wù)器管理模塊

服務(wù)器管理模塊實現(xiàn)服務(wù)器可視化的管理配置界面，具備數(shù)據(jù)庫設(shè)置、報警設(shè)置、流程圖管理、報表管理、設(shè)備管理等功能。界面如圖3-3所示。

圖3-3 服務(wù)器管理配置界面

移動監(jiān)控服務(wù)器的主要功能是為移動設(shè)備接入數(shù)據(jù)，而服務(wù)器配置的目的就是為數(shù)據(jù)接入和管理做一個可視化的配置工具。主要包含的功能是:可以監(jiān)控和啟停數(shù)據(jù)服務(wù)，配置組態(tài)和運行環(huán)境，設(shè)置報警，管理流程圖，管理報表，管理設(shè)備。

3.3.2 報警模塊

由于移動監(jiān)控一般用于企業(yè)管理層，只會關(guān)注特別重要的報警點。本系統(tǒng)的報警獨立于第三方接入系統(tǒng)，需要專門針對移動設(shè)備進行報警配置。報警在服務(wù)器進行配置，每一條報警配置都對應(yīng)一個位號，并且需要輸入報警類型、報警臨界值、報警等級、報警描述、聯(lián)系人、聯(lián)系人號碼。報警配置存儲到數(shù)據(jù)庫，同時可以進行修改和刪除。在服務(wù)器上有一個專門處理報警的線程，根據(jù)報警配置中的臨界值和相應(yīng)的規(guī)則來生成報警。每次新報警產(chǎn)生時放入實時報警隊列并且存儲到歷史報警數(shù)據(jù)庫。

當(dāng)報警產(chǎn)生時，服務(wù)器采用IOS的推送技術(shù)，將報警主動推送到IOS移動終端。移動終端在同一個界面中查看實時報警和歷史報警?？蛻舳嗽谑盏綀缶扑托畔⒑螅卿汼IMField客戶端軟件，對報警信息進行閱讀、確認等操作，同時可根據(jù)該報警關(guān)聯(lián)的聯(lián)系方式呼叫報警聯(lián)系人。報警工作流程如圖3-4所示。

圖3-4 報警工作流程

3.3.3 監(jiān)控流程圖

SIMField系統(tǒng)的監(jiān)控動態(tài)流程圖采用XML標(biāo)準(zhǔn)格式來描述。流程圖的圖形繪制和動畫效果使用第三方庫“Raphael.js”，根據(jù)不同的瀏覽器類型，自動采用SVG或者VML來繪制矢量圖形，通過JavaScript腳本改變圖形對象屬性實現(xiàn)圖形的動畫。流程圖模塊運行時，周期性從WEB服務(wù)器請求獲取數(shù)據(jù)，將獲取到的新值轉(zhuǎn)換成流程圖對象的動態(tài)屬性值，然后把屬性設(shè)置到圖形對象，實現(xiàn)圖形對象的動態(tài)效果。動態(tài)流程圖運行截圖如圖3-5所示。

圖3-5 流程圖效果

3.3.4 報表模塊

報表模塊從第三方系統(tǒng)中獲取報表組態(tài)信息，并進行轉(zhuǎn)換，存儲，供SIMField移動終端客戶端調(diào)用，瀏覽。

運行時，報表模塊從SIMField獲取數(shù)據(jù)，根據(jù)組態(tài)配置動態(tài)更新到報表頁面中，實現(xiàn)報表數(shù)據(jù)瀏覽。

本系統(tǒng)可以支持的報表文件類型有 Word 文檔，Excel文檔，PowerPoint文檔，PDF文檔，CSV文檔，并且可以擴展支持HTML文檔和TXT文檔。

3.3.5 用戶認證模塊

本系統(tǒng)的用戶認證方式采用密碼和移動終端設(shè)備編號結(jié)合的方式，服務(wù)器管理員將移動終端設(shè)備的唯一編碼審核后在SIMField服務(wù)器上進行注冊，并且給該終端設(shè)備分配用戶名和密碼，該終端設(shè)備即可通過該用戶名、密碼登錄SIMField監(jiān)控系統(tǒng)。總結(jié)

本文設(shè)計的智能終端移動監(jiān)控系統(tǒng)（SIMField）能夠運行于IOS智能移動終端，利用移動終端WIFI或者3G網(wǎng)絡(luò)，實現(xiàn)現(xiàn)場數(shù)據(jù)遠程傳輸和數(shù)據(jù)查詢。本系統(tǒng)可以緊密結(jié)合傳統(tǒng)的工廠監(jiān)控系統(tǒng)，可以隨時隨地獲得現(xiàn)場運行狀況，關(guān)鍵數(shù)據(jù)，報警信息等。它利用幾乎每個人都配備的手機為載體，不但可以讓企業(yè)管理人員快速及時地獲取信息，提高效率，還可以減少網(wǎng)絡(luò)和報警設(shè)備的投資，降低系統(tǒng)的成本，提高競爭力。

參考文獻

[1] David Mark，Jack Nutting，Jeff LaMarche.Beginning iOS 5 Development Exploring the iOS SDK.Apress [2] Rapha?l Reference 作者簡介：

張川,1981年出生，男，浙江浦江人，2003年畢業(yè)于浙江大學(xué)計算機系，學(xué)士學(xué)位，工程師，從事工業(yè)控制軟件開發(fā)工作。通訊地址：浙江杭州市濱江區(qū)六和路309號A3研發(fā)大廳0-*** 電子郵箱： zhangchuan@supcon.com

310053 聯(lián)系電話： 郵政編碼：

第三篇：移動終端的教學(xué)應(yīng)用模式研究

移動終端的教學(xué)應(yīng)用模式研究

在互動學(xué)習(xí)時代，以iPad為代表的智能移動終端將成為學(xué)生的重要學(xué)習(xí)工具，因此，對智能移動終端的應(yīng)用模式研究具有重要意義。目前，基于智能移動終端的教學(xué)應(yīng)用模式大致有以下幾種：

1.基于快速反饋系統(tǒng)的應(yīng)用模式

快速反饋系統(tǒng)最早的形式是每個學(xué)生手持一個類似遙控器的終端設(shè)備（Clicker），教師通過投影儀顯示題目，學(xué)生使用Clicker選擇正確答案，學(xué)生的答案可以立即反饋給教師，教師可以快速對學(xué)生的答題情況進行統(tǒng)計，這種系統(tǒng)俗稱“按按按”?，F(xiàn)在這種快速反饋系統(tǒng)在平板電腦上已經(jīng)得到實現(xiàn)，基于平板電腦的快速反饋系統(tǒng)比Clicker系統(tǒng)具有更加強大的功能和擴展空間，除選擇題和判斷題外，平板電腦快速反饋系統(tǒng)還可以實現(xiàn)連線題、排序題、拼圖題等更加復(fù)雜的客觀題型的快速反饋。

快速反饋系統(tǒng)可以實現(xiàn)課堂上教師和學(xué)生之間基于問題的互動，為教師及時了解課堂教學(xué)效果提供了方便，但是快速反饋系統(tǒng)不關(guān)注教師的教學(xué)方式和學(xué)生的學(xué)習(xí)方式，它只對課堂教學(xué)效果進行測試和快速反饋，因此，這種應(yīng)用模式具有通用性，無論在哪一個學(xué)習(xí)時代，快速反饋系統(tǒng)都是一種重要而且必要的應(yīng)用模式。

2.基于備授課平臺的應(yīng)用模式 隨著智能移動終端進入課堂，很多公司都不約而同的開發(fā)了一種基于平板電腦的備授課平臺。教師將教學(xué)資源上傳到授課平臺，上課時，學(xué)生登錄平臺，下載教師提供的課件或?qū)W習(xí)資料，教師使用平板電腦進行課件的演示，演示畫面可以廣播到每一個學(xué)生終端。一般這種備授課平臺都實現(xiàn)了簡單的快速反饋、電子舉手、學(xué)生搶答和隨機點名等師生互動功能，為了進一步增加師生互動效果，這種平臺還實現(xiàn)了主觀題目的答題和上交功能，如拍照上傳、圖片標(biāo)注上傳、學(xué)生課堂作業(yè)分享等功能。

“在課堂教學(xué)中，通過平板電腦實現(xiàn)教師和學(xué)生之間的互動”是這類平臺極力要實現(xiàn)的目標(biāo)，但這是一個應(yīng)用誤區(qū)。平板電腦最大的優(yōu)勢是“人機互動”，而不是通過平板電腦實現(xiàn)師生互動，尤其在課堂教學(xué)中，教師直接面對學(xué)生，師生間的互動沒有必要通過平板電腦來實現(xiàn)，教師的教育觀察能力才是保證師生互動效果的最重要因素。因此，這種課堂應(yīng)用模式總會給人一種平板電腦可用可不用的感覺，甚至有時感覺還不如不用。

這種備授課教學(xué)平臺基本上是按照傳統(tǒng)的課堂教學(xué)模式設(shè)計的，教師在熟悉了平臺操作和功能后，就可以很容易地在平臺上進行授課，任何一節(jié)課都可以使用，實現(xiàn)所謂的“常態(tài)化”應(yīng)用。但實際上這種應(yīng)用模式依然停留在只讀學(xué)習(xí)時代,技術(shù)仍然為教師服務(wù)，平板電腦被當(dāng)成教師的教學(xué)工具，而沒有成為學(xué)生的學(xué)習(xí)工具，平板電腦的人機互動優(yōu)勢沒有得到充分利用，學(xué)生的學(xué)習(xí)方式?jīng)]有改變，課堂教學(xué)模式也沒有發(fā)生本質(zhì)變化。

3.基于電子教材的應(yīng)用模式

電子教材整合了文字，圖片，音視頻資料，而且具有人機交互性。電子教材充分發(fā)揮了平板電腦的人機互動優(yōu)勢，學(xué)生在使用平板電腦閱讀電子教材時，可以隨意放大或縮小文字的大小，使字體更加方便閱讀；可以點擊插圖或視頻，對插圖進行放大瀏覽或直接播放視頻資料；在電子教材中使用音頻技術(shù)，可以實現(xiàn)點讀機功能的英語教材；學(xué)生在做電子教材中的練習(xí)題時，完全是一種互動模式，做完題目后，可以立即得到結(jié)果反饋。

電子教材直接為學(xué)生的自主學(xué)習(xí)服務(wù)，不用紙，不用印刷，不受內(nèi)容篇幅的限制，具有多媒體和交互性，在紙質(zhì)教材內(nèi)容基礎(chǔ)上，可以更加全面直觀地體現(xiàn)知識內(nèi)容，改變了學(xué)生的閱讀方式，提高了學(xué)生的閱讀興趣。電子教材對傳統(tǒng)的紙質(zhì)教材是一種革命性的改變，因此，電子教材是智能移動終端不可缺少的應(yīng)用模式。

4.基于教育APP的人機互動應(yīng)用模式

基于教育APP的人機互動應(yīng)用模式是最能體現(xiàn)平板電腦教育價值的應(yīng)用模式，是真正實現(xiàn)學(xué)生一對一互動學(xué)習(xí)的應(yīng)用模式，也是最吸引家長為孩子購買平板電腦的應(yīng)用模式。教育APP的內(nèi)容比電子教材更加豐富，互動方式也更加吸引學(xué)生的學(xué)習(xí)興趣。學(xué)生的學(xué)習(xí)過程主要包括新知識的閱讀學(xué)習(xí)、知識的背誦記憶、知識的應(yīng)用練習(xí)和技能的熟練掌握，基于平板電腦的教育APP能夠?qū)崿F(xiàn)每一個過程的一對一互動學(xué)習(xí)，這種互動學(xué)習(xí)體驗是前所未有的，是對學(xué)習(xí)方式的革命性改變。

基于教育APP的人機互動應(yīng)用模式是歐美、香港、新加坡等國家的主流教育應(yīng)用模式，幾乎所有的實驗學(xué)校都在采用這種模式進行一對一的教學(xué)，在美國的App Store中，教育APP數(shù)量已經(jīng)超過十萬個，內(nèi)容可以覆蓋K12所有學(xué)科。但在中國，這種模式還沒有被大多數(shù)實驗學(xué)校認可，其主要原因是國內(nèi)公司所提供的應(yīng)用方案幾乎都是基于備授課平臺的，所有公司都在開發(fā)備授課平臺，很少有公司開發(fā)教育APP。教育APP的數(shù)量和質(zhì)量是決定平板電腦能否真正成為學(xué)生的學(xué)習(xí)工具，并得到普及應(yīng)用的關(guān)鍵因素，目前國內(nèi)的教育APP數(shù)量和質(zhì)量遠遠不能滿足學(xué)生和教師的需求，大多數(shù)學(xué)校和家長對教育APP不了解，這種應(yīng)用現(xiàn)狀和觀念急需改變。

5.基于網(wǎng)絡(luò)學(xué)習(xí)空間的應(yīng)用模式

電子教材和教育APP充分發(fā)揮了平板電腦的人機互動優(yōu)勢，實現(xiàn)了一對一的人機互動學(xué)習(xí)，但是只靠人機互動是無法解決學(xué)生自主學(xué)習(xí)過程中的所有問題的。學(xué)生在學(xué)習(xí)過程中需要有系統(tǒng)的學(xué)習(xí)方案指導(dǎo)、需要教師或家長的引導(dǎo)、評價和鼓勵，需要學(xué)生之間的交流，需要一個共同成長的自主學(xué)習(xí)氛圍，在互動學(xué)習(xí)時代，這些需求可以通過網(wǎng)絡(luò)學(xué)習(xí)空間實現(xiàn)。

網(wǎng)絡(luò)學(xué)習(xí)空間的建設(shè)和應(yīng)用在西方發(fā)達國家已經(jīng)積累了豐富的經(jīng)驗，例如美國的可汗學(xué)院，以豐富的微視頻課程資源、科學(xué)精細的知識點分級體系、優(yōu)秀的互動學(xué)習(xí)體驗、全面的評價管理系統(tǒng)和學(xué)習(xí)進度管理系統(tǒng)，吸引了上千萬的美國中小學(xué)生進行在線自主學(xué)習(xí)，這種學(xué)習(xí)模式在國外被稱為“翻轉(zhuǎn)課堂”。

網(wǎng)絡(luò)學(xué)習(xí)空間為學(xué)生創(chuàng)造了人機互動、師生互動、家?；雍蜕拥膫€性化自主學(xué)習(xí)環(huán)境，網(wǎng)絡(luò)學(xué)習(xí)空間打破了課堂的界限，實現(xiàn)了課前、課中和課后的一體化學(xué)習(xí)，隨著無線網(wǎng)絡(luò)和智能移動終端的普及，網(wǎng)絡(luò)學(xué)習(xí)空間的互動學(xué)習(xí)體驗更加優(yōu)秀，智能移動終端和網(wǎng)絡(luò)學(xué)習(xí)空間的有機結(jié)合，將成為互動學(xué)習(xí)時代的主流學(xué)習(xí)方式。

第四篇：智能移動終端公共服務(wù)平臺為個人信息提供保護

智能移動終端公共服務(wù)平臺為個人信息提供保護

隨著信息技術(shù)的廣泛應(yīng)用和互聯(lián)網(wǎng)的不斷普及，個人信息在社會、經(jīng)濟活動中的地位日益凸顯。與此同時，濫用個人信息的現(xiàn)象隨之出現(xiàn)。近年來，個人信息泄露事件頻發(fā)，并呈現(xiàn)迅猛發(fā)展的態(tài)勢，2011年底中國互聯(lián)網(wǎng)更是遭遇了史上最大規(guī)模的用戶信息泄露事件，多家大型網(wǎng)站的用戶數(shù)據(jù)被泄露，幾千萬用戶賬號和密碼被公開，給社會秩序和人民切身利益造成嚴(yán)重危害。如何合理利用和有效保護個人信息已成為政府、企業(yè)、個人和社會各界廣泛關(guān)注的熱點問題。

個人信息保護由來已久

年 “個人信息保護”納入工業(yè)和信息化部重點工作范疇，工業(yè)和信息化部信息安全協(xié)調(diào)司已續(xù)四年委托中國軟件評測中心開展相關(guān)研究和測評工作；2009年，工業(yè)和信息化部楊學(xué)山副部長在大連個人信息保護試點工作現(xiàn)場交流會上，要求全面推進個人信息保護工作，此次大會上，來自全國30多家省市的代表討論了由中國軟件評測中心編制的《個人信息保護規(guī)范》（草案）； 2010年3月15日，在工業(yè)和信息化部指導(dǎo)下，由中國電子信息產(chǎn)業(yè)發(fā)展研究院主辦，中國軟件評測中心、北京賽迪網(wǎng)信息技術(shù)有限公司共同承辦的“第一屆中國網(wǎng)站個人信息安全大會”在舉辦。來自工業(yè)和信息化部有關(guān)司局的領(lǐng)導(dǎo)，國家信息中心、中國電子學(xué)會、中國社會科學(xué)院、北京信息產(chǎn)業(yè)協(xié)會等單位的專家學(xué)者以及電子商務(wù)、招聘、婚戀、游戲等領(lǐng)域的被測網(wǎng)站代表共150余人參加了會議。

年，在信息安全標(biāo)準(zhǔn)委員會的指導(dǎo)下，由中國軟件評測中心牽頭制定了國家標(biāo)準(zhǔn)《信息安全技術(shù) 公共及商用服務(wù)信息系統(tǒng)個人信息保護指南》（全國信息安全標(biāo)準(zhǔn)化技術(shù)委員會2011年國家標(biāo)準(zhǔn)編制計劃，編號：TC260-BZZXD-WG7-2011018），該標(biāo)準(zhǔn)旨在提高個人信息保護意識，促進個人信息的合理利用，指導(dǎo)和規(guī)范利用信息系統(tǒng)處理個人信息的活動，從而推動我國信息服務(wù)產(chǎn)業(yè)個人信息保護體系的建立。該標(biāo)準(zhǔn)已于12月上旬通過投票表決，目前已進入送審階段。在“指南”基礎(chǔ)上，信息系統(tǒng)個人信息保護標(biāo)準(zhǔn)體系中其它技術(shù)、管理和行業(yè)標(biāo)準(zhǔn)也已進入計劃制定階段。

年5月，受工業(yè)和信息化部信息安全協(xié)調(diào)司委托，中國軟件評測中心邀請個人信息安全相關(guān)專家，組成評測專家組，根據(jù)國家標(biāo)準(zhǔn)《信息安全技術(shù) 公共及商用服務(wù)信息系統(tǒng)個人信息保護指南》內(nèi)容，研究制定了2011年互聯(lián)網(wǎng)網(wǎng)站個人信息保護政策測評方案和測評指標(biāo)，并選取電子商務(wù)、論壇博客、銀行、保險、婚戀、招聘、游戲七類共105家網(wǎng)站進行了個人信息保護政策測評，整個評測工作歷經(jīng)6個月，測評結(jié)果整理為《2011年網(wǎng)站個人信息保護政策測評報告》。同時，中國軟件評測中心與北京大學(xué)互聯(lián)網(wǎng)安全技術(shù)實驗室合作，選取Android手機各類熱門軟件對其個人信息安全狀況進行了測試評估，并結(jié)合測試結(jié)果對當(dāng)前Android手機軟件用戶隱私信息安全狀況進行了分析形成《2012年Android手機軟件個人信息安全報告》。

年3月15日，中國軟件評測中心將以“掌握行業(yè)動態(tài)，增強隱私保護”為主題，舉辦“2012中國個人信息安全大會”。本屆大會得到工業(yè)和信息化部領(lǐng)導(dǎo)的支持與指導(dǎo)，是目前國內(nèi)首屈一指的個人信息保護專題盛會。本屆大會誠邀相關(guān)行業(yè)主管部門、領(lǐng)域?qū)＜?、參評企業(yè)等各界來賓與會，為幫助企業(yè)洞察政策導(dǎo)向、參與標(biāo)準(zhǔn)研討、了解行業(yè)個人信息保護態(tài)勢提供良好的互動交流平臺。

智能移動終端公共服務(wù)平臺提供技術(shù)支撐

智能移動終端的個人信息保護具有3個特點：首先，用戶基數(shù)大，根據(jù)CNNIC統(tǒng)計，2011年底中國手機網(wǎng)民數(shù)3.56億；其次，移動互聯(lián)網(wǎng)應(yīng)用日益豐富，手機上網(wǎng)、手機支付、手機炒股、手機郵箱和移動商務(wù)等業(yè)務(wù)層出不窮，終端和個人生活的關(guān)系日益密切；第三，移動互聯(lián)網(wǎng)領(lǐng)域普遍采用后向收費模式，應(yīng)用推廣通常是通過應(yīng)用商店直接在開發(fā)者和用戶之間發(fā)生，缺少第三方質(zhì)量保障。由此帶來了隱私泄露、惡意扣費、涉黃涉非、破壞系統(tǒng)、遠程控制等一系列問題，損害了消費者權(quán)益，影響了產(chǎn)業(yè)的健康發(fā)展，同時也給國家的信息安全帶來了威脅。個人信息保護是中國軟件評測中心在智能移動終端領(lǐng)域關(guān)注的眾多問題之一。

作為智能移動終端廣泛使用的Android系統(tǒng)，由于系統(tǒng)開放性強，眾多企業(yè)將其作為優(yōu)先選擇，最近幾年市場份額上升很快。此外，由于Android系統(tǒng)的開放性，可以便捷地加載第三方應(yīng)用，應(yīng)用的質(zhì)量又參差不齊，導(dǎo)致Android應(yīng)用的質(zhì)量問題成為目前業(yè)界關(guān)注的焦點。對Android系統(tǒng)進行評測只是中國軟件評測中心的第一步，未來他們將逐步向IOS、Windows Mobile等系統(tǒng)拓展。

作為工信部電子發(fā)展基金支持的第三方公共服務(wù)平臺--智能移動終端軟件公共服務(wù)平臺是目前中國軟件評測中心承建的眾多公共服務(wù)平臺之一，其主要職能定位有四個方面：

第一，作為工信部的一類科研事業(yè)單位，首先要做好政府主管部門的決策支撐和技術(shù)支撐服務(wù)。

第二，面向產(chǎn)業(yè)和市場，面向應(yīng)用軟件商店、應(yīng)用開發(fā)企業(yè)和個人、終端用戶等，提供第三方應(yīng)用質(zhì)量測評服務(wù)。

第三，在應(yīng)用開發(fā)者和終端用戶之間搭建橋梁，提供優(yōu)秀應(yīng)用推廣服務(wù)，營造脫穎而出的氛圍，促進產(chǎn)業(yè)健康發(fā)展。

第四，提供資源共享服務(wù)，開放地集成研究院所、安全企業(yè)的研究成果，為產(chǎn)業(yè)和市場提供開放式的服務(wù)。

第五篇：基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)

基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

2017年“挑戰(zhàn)杯”吉林省大學(xué)生課外學(xué)術(shù)科技作品競賽

長春大學(xué)作品

基于移動智能終端的聽障兒童言語康復(fù)

訓(xùn)練系統(tǒng)說明書

團隊成員： 侯佳帥、徐杰、陳靜哲、李節(jié)龍、姜麗敏、王原、任書銳 指導(dǎo)教師： 參賽單位：

史麗娟、趙劍

電子信息工程學(xué)院、計算機科學(xué)技術(shù)學(xué)院 吉林省殘疾人康復(fù)設(shè)備及技術(shù)科技創(chuàng)新中心

基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

目 錄

摘 要.........................................................I 第1章 研究背景及意義.........................................1

1.1 研究背景..............................................1 1.2 國內(nèi)外研究現(xiàn)狀........................................2 1.3 研究意義..............................................6 第2章 作品介紹...............................................7

2.1 作品簡介..............................................7 2.2 作品設(shè)計..............................................7 2.3 作品使用說明..........................................8 2.4 作品性能優(yōu)化.........................................10 第3章 系統(tǒng)設(shè)計及工作原理....................................13

3.1 系統(tǒng)流程.............................................13 3.2 工作原理.............................................14 3.2.1三維模型驅(qū)動...................................14 3.2.2發(fā)音訓(xùn)練模塊...................................18 3.2.3反饋系統(tǒng).......................................21 第4章 主要創(chuàng)新點............................................23

4.1 相對于傳統(tǒng)方式的優(yōu)勢.................................23 4.2 技術(shù)的創(chuàng)新點.........................................24 4.3 項目未來優(yōu)化發(fā)展.....................................25 第5章 市場分析..............................................26 團隊簡介.....................................................28 參考文獻.....................................................29 附 件........................................................31

附件目錄.................................................31 附件圖片.................................................32

基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

摘 要

聽障兒童由于聽力障礙造成言語的缺失，嚴(yán)重影響其認知能力、思維能力的發(fā)展，最終將影響其情感和智力的發(fā)育。聽障兒童的發(fā)音器官是正常的，只要對其進行聽力補償并進行及時科學(xué)的言語康復(fù)，就能讓他們走出無聲世界，進入有聲世界，和正常兒童一樣認識事物，發(fā)展智力，為以后入學(xué)、工作打下基礎(chǔ)。當(dāng)前聽障兒童言語康復(fù)訓(xùn)練主要采用言語康復(fù)訓(xùn)練教師一對一的對聽障兒童示范發(fā)音過程，聽障兒童進行模仿的訓(xùn)練方式。這種訓(xùn)練方式存在主要問題是聽障兒童數(shù)量多，而言語康復(fù)訓(xùn)練教師少，導(dǎo)致部分聽障兒童錯過最佳言語康復(fù)期。隨著計算機技術(shù)的發(fā)展，出現(xiàn)了一些聽障兒童言語康復(fù)的輔助軟件和設(shè)備，但由于這些軟件和設(shè)備還需要大量的專業(yè)人員參與而沒有得到廣泛的有效應(yīng)用。

為了解決上述傳統(tǒng)言語康復(fù)訓(xùn)練存在的問題，本作品將面部捕捉技術(shù)與三維可視化技術(shù)引入聽障兒童言語康復(fù)訓(xùn)練領(lǐng)域，將面部捕捉技術(shù)與三維可視化相結(jié)合，建立真實的三維頭像模型，并模擬發(fā)音器官做出發(fā)音動作，為聽障兒童展示真實的發(fā)音過程，提高聽障兒童言語康復(fù)訓(xùn)練效果。尤其在手機等移動設(shè)備較為普及的今天，本作品將該技術(shù)應(yīng)用于移動智能終端系統(tǒng)中，建立基于移動終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)。此系統(tǒng)將在移動智能終端系統(tǒng)實現(xiàn)三維虛擬會話頭像模擬漢語發(fā)音過程，聽障兒童應(yīng)用本系統(tǒng)可以隨時隨地的自主進行言語康復(fù)訓(xùn)練，解決了聽障兒童語言康復(fù)訓(xùn)練過程中語訓(xùn)教師不足，不能得到及時的康復(fù)訓(xùn)練等問題。

關(guān)鍵詞：言語康復(fù)訓(xùn)練，面部捕捉，三維可視化，移動智能終端

I 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

第1章 研究背景及意義

1.1研究背景

聽力障礙是人類殘疾類型中的一種，早在《左傳》中就有“耳不聽無聲之和為聾”的說法。中國是世界上聽力障礙（簡稱“聽障”）兒童數(shù)量最多的國家之一，聽障兒童是指由于疾病、藥物、噪聲、意外事故等影響，造成聽覺系統(tǒng)中傳音、感音，以及對聲音綜合分析的各級神經(jīng)中樞發(fā)生異常，引發(fā)聽力障礙，聽不見或聽不清周圍聲音的兒童[1]。2017年5月21日是我國第二十七次全國助殘日。據(jù)中國殘聯(lián)介紹，我國目前有8500萬殘疾人（如圖1-1所示），每年新增近200萬人，有40%的殘疾人有康復(fù)需求。其中聽力殘疾2780萬人，約占24.16%；言語殘疾130萬人，約占1.53%，其中聽力障礙兒童83.5萬，6歲以下聽障兒童13.7萬，每年新生聽障兒童約2.3萬（如圖1-2所示）。

圖1-1 我國殘疾人總數(shù)

圖1-2 我國聽障人群現(xiàn)狀 /47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

醫(yī)學(xué)專家指出0～3歲是兒童大腦發(fā)育最快的時期，也是學(xué)習(xí)語言的最關(guān)鍵時期，7歲以前是語言最佳形成期，7～12歲是可塑期[2]。如果錯過最佳言語康復(fù)訓(xùn)練期，聲音信號沒有在腦部形成刺激，則嚴(yán)重影響兒童后期的言語發(fā)育，且聽障兒童在語言發(fā)育滯后的同時，還常伴有運動、認知等方面的異常或障礙。在重度和極重度聽障兒童中，高達25%的兒童有多重殘疾。我國第二次全國殘疾人抽樣調(diào)查顯示，在0-6歲聽障兒童中，有72%同時伴有其他殘疾，直接影響了兒童認知能力、思維能力和記憶能力的發(fā)展，這給他們在獲取知識上造成一定難度，勢必會影響其情感和智力的正常發(fā)育。雖然聽障兒童聽不見或聽不清聲音，但是他們的發(fā)音器官是正常的。聽障兒童說出的話一般較難聽懂，這主要是因為他們發(fā)音方式和發(fā)音位置不正確。在聽力障礙兒童群體中有殘余聽力的約占85%以上，只要聽力能得到及時的補償和重建，同時進行科學(xué)的言語康復(fù)訓(xùn)練，大部分聽障兒童是可以掌握有聲語言的[3]。據(jù)調(diào)查，我國聽力語言康復(fù)事業(yè)仍處于發(fā)展的初級階段，聽力語言康復(fù)服務(wù)普及率低，基礎(chǔ)薄弱，服務(wù)供給及保障能力不足等問題依然十分突出。據(jù)全國聾兒康復(fù)機構(gòu)的調(diào)查顯示，全國有54%的地市級殘聯(lián)沒有自己的聾兒康復(fù)機構(gòu)，有59個地市沒有一所聾兒康復(fù)機構(gòu)。從全國范圍看，殘聯(lián)所屬聾兒康復(fù)機構(gòu)只占全國機構(gòu)總數(shù)的30%。國內(nèi)適齡聽障兒童能夠有機會進入康復(fù)機構(gòu)進行言語康復(fù)訓(xùn)練的僅占聽障兒童群體總數(shù)的60%，要實現(xiàn)0～6歲聽障兒童言語訓(xùn)練健康全覆蓋，還有一定距離。本研究主要借助技術(shù)手段，針對3～7歲聽障兒童，進行言語康復(fù)訓(xùn)練，幫助聽障兒童學(xué)習(xí)發(fā)音、理解語言，使其提高語言及表達能力，為聽障兒童正常的工作、學(xué)習(xí)、融入社會奠定基礎(chǔ)[4]。

1.2國內(nèi)外研究現(xiàn)狀

國內(nèi)的聽障兒童言語康復(fù)訓(xùn)練從80年代開始，主要采用傳統(tǒng)的康復(fù)訓(xùn)練方法，依靠語訓(xùn)教師一對一的進行康復(fù)訓(xùn)練。這種訓(xùn)練方式由語訓(xùn)教師發(fā)音，聽障兒童進行模仿。語訓(xùn)教師在言語訓(xùn)練過程中對聽障兒童描述發(fā)音的位置，然后示范發(fā)音過程中的嘴唇形狀及舌部在口腔內(nèi)的變化過程，聽障兒童同步進行模仿，通常此種康復(fù)訓(xùn)練的方法稱為傳統(tǒng)康復(fù)訓(xùn)練法。傳統(tǒng)康復(fù)訓(xùn)練方法主要是讓聽障兒童通過觀察發(fā)音過程中的舌、嘴唇等發(fā)音器官的位置和動態(tài)變化，然后通過不斷強化練習(xí)發(fā)音過程，逐漸感知正確的發(fā)音從而完成言語康復(fù)訓(xùn)練[5]。這種方法/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

在聽障兒童言語康復(fù)訓(xùn)練中發(fā)揮了較大的作用，取得了一定效果，但主要存在的問題是人在發(fā)音過程中，內(nèi)部發(fā)音器官不可視，聽障兒童年齡較小，看不見內(nèi)部發(fā)音器官的情況下，很難根據(jù)語訓(xùn)教師的描述來理解和感知內(nèi)部發(fā)音器官，如舌頭的狀態(tài)和變化過程。因此，需要專人指導(dǎo)，高昂的額外開支使聽障兒童家庭因聾致貧，未進行聽障康復(fù)訓(xùn)練的兒童幾乎不能與人交流，學(xué)習(xí)工作很難，成人后更難自主生活。

（a）聽障兒童模仿語訓(xùn)教師口型發(fā)音訓(xùn)練

（b）聽障兒童感受發(fā)音時語訓(xùn)教師的聲帶震動

圖1-3 語訓(xùn)教師指導(dǎo)聽障兒童進行言語康復(fù)訓(xùn)練

隨著科學(xué)技術(shù)的發(fā)展，我們逐漸將聾兒語言康復(fù)訓(xùn)練設(shè)備用到聾兒語言功能康復(fù)訓(xùn)練中。天津市聾兒語言康復(fù)中心開發(fā)的《聰聰學(xué)話》多媒體聾兒語訓(xùn)系統(tǒng)，把語音識別技術(shù)和多媒體技術(shù)結(jié)合起來，配以視覺反饋，利用多變的畫面,吸引聾兒的興趣,讓聾兒在游戲中進行呼吸訓(xùn)練、發(fā)音訓(xùn)練、單音練習(xí)(英文)，并可對聾兒發(fā)音實現(xiàn)實時評價，給出發(fā)音的波形圖和音強、音長和音調(diào)等參數(shù)，幫助聾兒找到發(fā)音存在的問題。此系統(tǒng)還能提供元音、語譜圖和共振峰等視覺反饋信息[6]。雖然此系統(tǒng)能在聾兒語言康復(fù)過程中發(fā)揮一定作用，但它的使用需要專業(yè)指導(dǎo)人員的配合，如讓聾兒自己讀懂這些復(fù)雜的語音分析結(jié)果是很困難的。另外，此系統(tǒng)沒有配備正確的發(fā)音指導(dǎo)提示信息，聾兒即使知道自己發(fā)音錯誤，卻不知如何改進。

中國科學(xué)院深圳先進技術(shù)研究院研究員王嵐開發(fā)的基于中文的三維說話人頭像連續(xù)發(fā)音運動模擬系統(tǒng)[7]為言語康復(fù)領(lǐng)域提供了信息化的創(chuàng)新工具，改進了傳統(tǒng)的依靠聽力和圖片進行言語康復(fù)訓(xùn)練的模式，同步采集說話人的面部視頻和音頻錄像，以及口腔內(nèi)部X光錄像，標(biāo)注說話人發(fā)音器官運動特征控制點，并建立對應(yīng)每個因素的特征點數(shù)據(jù)庫，實現(xiàn)發(fā)音器官不同類型的變形運動，對于解/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

決該領(lǐng)域的發(fā)展瓶頸起到了至關(guān)重要的作用。隨著產(chǎn)業(yè)化目標(biāo)的推進，有聽障兒童的家庭將不必再為高昂的培訓(xùn)或治療費用而擔(dān)心，低齡患者可以通過客戶端，在家人的指導(dǎo)下進行適量適度的持續(xù)訓(xùn)練。此系統(tǒng)需要家長的陪同訓(xùn)練。

國內(nèi)主要是基礎(chǔ)訓(xùn)練與針對訓(xùn)練相結(jié)合的言語康復(fù)方式和聽覺口語法。前者康復(fù)方法中，基礎(chǔ)訓(xùn)練包括發(fā)聲放松訓(xùn)練與聲帶協(xié)調(diào)性訓(xùn)練，目的是為聽障兒童聲調(diào)、語調(diào)發(fā)音奠定良好的生理基礎(chǔ)，其中發(fā)聲放松訓(xùn)練包括頸部放松訓(xùn)練與聲帶放松訓(xùn)練，聲帶協(xié)調(diào)性訓(xùn)練主要是運用重讀治療法的節(jié)奏訓(xùn)練完成。針對性訓(xùn)練包括聲調(diào)鞏固訓(xùn)練、語調(diào)整句強化訓(xùn)練和邊界調(diào)強化訓(xùn)練，主要是結(jié)合特定的聲調(diào)和語調(diào)進行語調(diào)表達的訓(xùn)練，屬于超音段音位的訓(xùn)練，由三個相互獨立又包含的內(nèi)容組成:鞏固單、雙字調(diào)的聲調(diào)鞏固訓(xùn)練；逐字增加句長法和句子升降調(diào)訓(xùn)練組合的語調(diào)整句強化訓(xùn)練;借助言語測量儀完成邊界調(diào)強化訓(xùn)練。這一言語康復(fù)方法將醫(yī)學(xué)解剖生理學(xué)基礎(chǔ)與言語測量儀等現(xiàn)代技術(shù)輔助手段相結(jié)合，是醫(yī)教結(jié)合理念在特殊教育領(lǐng)域上的完美呈現(xiàn)，但該類訓(xùn)練方法對干預(yù)實施人員的手法要求較高，需要經(jīng)過專業(yè)的言語語言病理學(xué)訓(xùn)練才能發(fā)揮該康復(fù)方法的作用。后者康復(fù)方法適合于人工耳蝸術(shù)后或佩帶助聽器后聽覺補償比較理想的聾兒，主要借助助聽設(shè)備，將聽覺、語言、認知依其自然發(fā)展之程序結(jié)合起來，在有意義的情境中透過會話式的互動，讓聽障兒童學(xué)習(xí)、傾聽、會說話。因其十分注重殘余聽力的運用與口語的表達能力，強調(diào)“聽”對言語的自我反饋、自我監(jiān)控以及自我調(diào)整，所以必須在沒有視覺線索的情形下先行訓(xùn)練聽覺能力，否則很難建立起聽覺習(xí)慣或視聽并用的技巧。

在國外，使用較好的“IBMSpeechViewer”、“BoxofTricks”、“OLP”治療器、MicroVideoCorporation 的VideoVoice[8]。一個比較有影響的系統(tǒng)是IBM可視語言訓(xùn)練系統(tǒng)(IBMSpeechViewer)，其最早源于1983年啟動的可視語言計劃，現(xiàn)今已適用于12種不同的語言。系統(tǒng)由一個帶有彩色顯示器的PC機，附帶著麥克、放大器和揚聲器，能保存和分析用戶的語音，然后顯示和重放。反饋采用各種圖形設(shè)計和類似游戲帶有選擇性回放的功能。程序分為三種不同用途：基本認知，技能培養(yǎng)，語音體系練習(xí)以及必要的語音模板模塊。這套系統(tǒng)是高性能的實時語音治療設(shè)備，其軟件包含13個互動程序，能夠幫助聽力損傷兒童學(xué)會認知和控制濁音發(fā)音、定時、音調(diào)和響度及發(fā)聲和韻律。此外，還能協(xié)助成人或正/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

常聽力者學(xué)習(xí)語言。這些程序涵蓋了繁簡、難易各個程度的治療方法。由于系統(tǒng)沒有集成訓(xùn)練詞匯庫或結(jié)構(gòu)性訓(xùn)練設(shè)計方案，它要求使用者具備對語音學(xué)和傳統(tǒng)臨床療法更深層次的理解，才能更高效地發(fā)揮系統(tǒng)潛力。

“Box of Tricks”聽力損傷兒童教學(xué)和訓(xùn)練系統(tǒng)是另一個比較著名的系統(tǒng)，由歐洲“INCO-Copernicus計劃”的“SPECO”子計劃研發(fā)支持。這套訓(xùn)練系統(tǒng)設(shè)計適用于四種語言。在能夠?qū)崟r提供語音聲學(xué)參數(shù)反饋的同時，系統(tǒng)還以圖形形式顯示重要的發(fā)音特征。這些被稱為“語音圖形”的東西可以用清晰娛樂的方式展示。在其幫助下，聾兒很容易區(qū)分出不正確發(fā)音和參考模板的正確發(fā)音。通過觀看自己發(fā)音的圖形并將其與正確發(fā)音圖形比較，從而學(xué)會正確發(fā)音。系統(tǒng)包括一個通用的獨立于語言的測量工具和數(shù)據(jù)庫編輯器。數(shù)據(jù)庫編輯器可構(gòu)建針對其它語言不同的模塊和詞匯庫。每種語言都有依賴于語言的語音和圖形數(shù)據(jù)庫，一個用于教學(xué)和訓(xùn)練元音，另一個用于摩擦音和塞擦音?！癇oxofTricks”系統(tǒng)使用戶有友好的感覺，非常適用于12歲以下語言和聽力損傷兒童。采用預(yù)設(shè)詞匯庫、可比較的10歲兒童參照語音、各個音素符號語音圖形和針對不識字兒童的提示詞匯使用戶很方便操縱，但不具備設(shè)立特定個體訓(xùn)練練習(xí)的治療內(nèi)容，訓(xùn)練效果不佳。

“OLP”治療器是由歐洲生命質(zhì)量和生活資源管理項目支持的。OLP項目針對兒童構(gòu)音障礙、顎裂和聽力損傷三種病理學(xué)來實施研究。項目的目標(biāo)是應(yīng)用新的技術(shù)方法改進發(fā)音器官損傷造成的生活質(zhì)量的下降，以便在發(fā)音方面支持傳統(tǒng)的語音治療方法。這個方案基于兒童最佳發(fā)音并與自動語音識別相結(jié)合，而且根據(jù)每個兒童的具體情況設(shè)計方案。OLP療法遵照為各個等級的治療設(shè)置的時間表，實施量身定做的治療計劃?；贗nternet的遠程學(xué)習(xí)OLP治療系統(tǒng)含有訓(xùn)練詞匯庫和結(jié)構(gòu)性訓(xùn)練方法，但沒配備參照講話者。運用自動語音識別技術(shù)，系統(tǒng)很復(fù)雜且耗時。綜合評價表明此方法不適合聽力損傷兒童的使用，但更適合機能性發(fā)音失常的成人患者。

上述國外的聾兒語言康復(fù)訓(xùn)練系統(tǒng)設(shè)備（如圖1-4所示）雖然取得了一定的發(fā)展，但多以二維平面的形式進行反饋，對于確認發(fā)音準(zhǔn)確性和正確性主要依靠第三方教學(xué)人員的參與，并沒有真正的實現(xiàn)完全依靠人與機器的言語康復(fù)訓(xùn)練。/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

圖1-4語言康復(fù)訓(xùn)練系統(tǒng)

綜上所述，輔助訓(xùn)練系統(tǒng)，需要專業(yè)人員參與，存在時間和場地的限制，且需要高額的費用，并且主要反饋信息集中在音頻比對，并無系統(tǒng)的評估過程。如何通過現(xiàn)代計算機技術(shù)、信息科學(xué)及控制技術(shù)等科學(xué)技術(shù)幫助聾兒及家庭擺脫這些困擾，在減少人工干預(yù)情況下自主的進行言語康復(fù)是目前康復(fù)科學(xué)領(lǐng)域一個重要課題[9]。

1.3研究意義

智能化的人機交互是計算機發(fā)展的趨勢，也是現(xiàn)在的研究熱點。人機交互中因為增加了虛擬人物的設(shè)計，給人們帶來了全新的感覺。尤其增加了虛擬人物的視聽結(jié)合的語音教學(xué)方式比單獨的視覺或聽覺教學(xué)更有助于聽障兒童的語言學(xué)習(xí)。因此，團隊在前期的研究中針對聽障兒童在言語康復(fù)訓(xùn)練過程中語訓(xùn)教師數(shù)量無法滿足聽障兒童言語康復(fù)需求，以及傳統(tǒng)言語康復(fù)訓(xùn)練過程中內(nèi)部發(fā)音器官不可視等問題，將三維會話頭像引入聽障兒童言語康復(fù)領(lǐng)域，采用三維頭像模型模擬人的發(fā)音動作，輔助康復(fù)訓(xùn)練，取得了較好的效果。隨著移動設(shè)備的普及，智能手機、ipad等移動智能終端逐漸走入家庭，本作品將三維頭像技術(shù)移植到移動智能終端，開發(fā)出一套適用于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練的系統(tǒng)軟件。用惠及廣大聽障家庭的方法，解決經(jīng)過聽力補償之后的聽障兒童在減少甚至擺脫人工干預(yù)的情況下，能夠利用可視模型自主的進行言語康復(fù)訓(xùn)練的問題，在低廉的成本下聽障兒童可隨時隨地的進行康復(fù)訓(xùn)練，符合我國國情的需要，符合國家科技發(fā)展規(guī)劃的要求。/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

第2章 作品介紹

2.1作品簡介

針對言語訓(xùn)練師不足，訓(xùn)練條件具有局限性，訓(xùn)練費用昂貴等問題，我們利用三維運動捕捉系統(tǒng)建立相應(yīng)三維模型，將數(shù)據(jù)傳輸，加密，音頻解析等技術(shù)結(jié)合，開發(fā)出 “基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)”。系統(tǒng)可在移動智能終端（安裝Andriod、IOS系統(tǒng)的智能手機、ipad等設(shè)備），實現(xiàn)三維可視化模擬漢語發(fā)音。聽障兒童可以通過觀察三維頭像模擬發(fā)音過程，一邊模仿一邊練習(xí)。我們作品應(yīng)用逼真的三維動畫效果可以指導(dǎo)聽障兒童進行發(fā)音訓(xùn)練，對數(shù)據(jù)的分析，并對聽障兒童發(fā)音訓(xùn)練進行評估，評估出聽障兒童發(fā)音的具體情況，因材施教，提供個性化的訓(xùn)練方案，具有顯著的訓(xùn)練效果。這種面向聽障兒童言語的訓(xùn)練方式，其特征在于：使聽障兒童在家，在一切可利用環(huán)境下發(fā)音訓(xùn)練，并且通過視覺直觀看到顯示屏幕上的三維頭像模擬發(fā)音過程和音頻波形，一邊模仿一邊練習(xí)，效果顯著。

2.2作品設(shè)計

為了克服目前語言障礙者學(xué)習(xí)發(fā)音過程中出現(xiàn)的無反饋、單調(diào)枯燥等不足。我們提出將三維建模與可視語音技術(shù)相結(jié)合,建立基于特征坐標(biāo)點參數(shù)驅(qū)動的三維頭像模型及適合發(fā)音學(xué)習(xí)者康復(fù)的三維漢語輔助發(fā)音的語音庫。并在建立 3D會話頭像的基礎(chǔ)上, 結(jié)合語音識別和圖像識別技術(shù)對發(fā)音進行校正,以達到幫助語言障礙者恢復(fù)發(fā)音功能即達到語言矯治的目的。發(fā)音訓(xùn)練是語言康復(fù)的重要環(huán)節(jié)，聽障兒童發(fā)音時唇部，舌部以及下顎等面部的動作對于發(fā)音的準(zhǔn)確性有很大的影響，根據(jù)移動終端操作系統(tǒng)的特點，本作品通過事先捕捉的說話時人的面部表情、唇部動作，舌頭的狀態(tài)等三維數(shù)據(jù)，建立三維動態(tài)驅(qū)動數(shù)據(jù)庫，用以建立移動終端三維頭像表情真實，動作精準(zhǔn)，發(fā)音準(zhǔn)確，協(xié)調(diào)一致的語言康復(fù)訓(xùn)練系統(tǒng)。/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

2.3作品使用說明

用戶首先進入登錄界面，可以選擇注冊或者登錄。如選擇注冊界面，用戶可以根據(jù)系統(tǒng)提示信息注冊為本系統(tǒng)用戶（使用者擁有唯一的登錄號，全國聯(lián)網(wǎng)同步訓(xùn)練情況），然后進入登錄界面，輸入正確的用戶名和密碼，進入訓(xùn)練單元。用戶通過選擇系統(tǒng)中的字母、聲母、韻母、聲調(diào)符、字、詞等不同訓(xùn)練單元進入相應(yīng)單元，然后可選擇具體訓(xùn)練內(nèi)容對應(yīng)發(fā)音項。用戶根據(jù)自身情況選擇某一發(fā)音訓(xùn)練項，系統(tǒng)自動進入三維頭像模擬發(fā)音訓(xùn)練模塊。用戶點擊三維頭像模擬發(fā)音訓(xùn)練模塊中三維頭像所在區(qū)域，系統(tǒng)播放三維頭像發(fā)音動畫。聽障兒童通過反復(fù)訓(xùn)練，以達到正確發(fā)音目的。用戶學(xué)習(xí)結(jié)束后可以選擇退出系統(tǒng)，終止學(xué)習(xí)，也可以選擇返回鍵繼續(xù)學(xué)習(xí)其他單元或其他發(fā)音項的內(nèi)容。我們系統(tǒng)前期已經(jīng)研發(fā)的基于Android系統(tǒng)的康復(fù)訓(xùn)練系統(tǒng)V1.0版本，該系統(tǒng)已授權(quán)軟件著作權(quán)，該系統(tǒng)相對簡單，接下來會對初級版本進行升級，建立相應(yīng)的更為精確的反饋機制與評分獎勵，使其更具有生動有趣性，具有真實感，豐富發(fā)音模塊，建立更全面的發(fā)音康復(fù)資源，同時開發(fā)基于IOS系統(tǒng)的軟件系統(tǒng)。下列圖片為CCU聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)實際APP圖片（圖2-1到圖2-6）。

圖2-1 PC機系統(tǒng)登錄界面 /47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

圖2-2移動設(shè)備系統(tǒng)登錄界面圖2-3 系統(tǒng)訓(xùn)練庫選擇界面

圖2-4 系統(tǒng)訓(xùn)練素材界面圖2-5 系統(tǒng)訓(xùn)練發(fā)音界面 /47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

圖2-6系統(tǒng)播放發(fā)音過程

本項目康復(fù)訓(xùn)練過程就是受訓(xùn)者通過觀察了解一個詞語的發(fā)聲過程，然后模擬面部動作和發(fā)聲，最后進行訓(xùn)練檢測，并通過信息反饋給受訓(xùn)者，指導(dǎo)其進行正確訓(xùn)練。即觀察—模擬—檢測這樣一個循環(huán)訓(xùn)練過程。其中，結(jié)果檢測在整個訓(xùn)練系統(tǒng)中是至關(guān)重要的，通過音頻圖像結(jié)果的反饋，受訓(xùn)者可以清楚的知道自己的發(fā)聲和標(biāo)準(zhǔn)發(fā)聲相比有什么不同。通過語音識別結(jié)果的反饋，受訓(xùn)者可以知道自己當(dāng)前的發(fā)聲是否正確。通過這樣一個訓(xùn)練系統(tǒng)可以幫助聽障兒童掌握發(fā)音規(guī)律，能夠為接下來獲得言語交流能力打下基礎(chǔ)。

2.4 作品性能優(yōu)化

針對聽障兒童的認知特征與正常兒童的差異性[10]（主要表現(xiàn)在以下幾個方面），聽障兒童訓(xùn)練時存在的一些問題，我們對系統(tǒng)進行了優(yōu)化設(shè)計，如圖2-7所示。/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

內(nèi)部發(fā)音不直觀建立三維面部模型信息反饋不及時多級反饋計算差異注意力無法集中獎勵機制、寓教于樂 圖2-7系統(tǒng)性能優(yōu)化

（1）感知活動不完整。聽覺的喪失或減退使聽障兒童在感知事物的聲音屬性方面存在一定障礙，不利于形成視聽結(jié)合的知覺形象，影響了知覺的完整性。針對聽障兒童的知覺特征，在設(shè)計學(xué)習(xí)時采用了補償聲音效果、增強視覺效果的設(shè)計策略。

（2）無意注意為主，有意注意穩(wěn)定性差。聽障兒童的注意力以無意注意為主，有意注意發(fā)展滯后且穩(wěn)定性差，注意的分配和轉(zhuǎn)移存在一定程度的困難。所以聽障兒童的移動智能終端既要能夠吸引其無意注意又不能對其有意注意造成障礙，我們對系統(tǒng)界面布局、主題風(fēng)格、背景 顏色及資源粒度大小等方面進行合理設(shè)計。

（3）思維形象化。通常有“十聾九啞”之說，聽覺的障礙造成聽障兒童言語發(fā)展的滯后或喪失，使其思維較長時間停留在形象思維階段，更加注重事物的外部特征，表現(xiàn)出很大的具體、形象性。而卡通具有豐富多彩的視覺效果，能夠形成強烈的視覺沖擊力，切合了聽障兒童以形象思維為主的認知特征。

（4）詞語——邏輯記憶薄弱。聽障兒童的記憶以視覺記憶為主。由于很難形成言語表象，聽障兒童對文字、詞語的理解、記憶比較困難，缺乏邏輯性，“記得慢，忘得快”的現(xiàn)象在聽障兒童中時常發(fā)生。針對聽障兒童記憶的這種特性，設(shè)計的移動語音數(shù)據(jù)要能夠重復(fù)利用，使聽障兒童可以隨時復(fù)習(xí)、時時復(fù)習(xí)；聽障兒童主要以視覺獲取信息，對信息無障礙需求主要是：他們對獲取文本、圖形等視覺信息是沒有困難的。

結(jié)合聽障兒童的認知特征與記憶流圖（如圖2-8所示），我們采用交互式的設(shè)計方式，有利于聽障兒童與訓(xùn)練內(nèi)容的良好交互，對于訓(xùn)練的發(fā)生以及訓(xùn)練的效果都有積極的影響。學(xué)習(xí)是主動的、個性化的學(xué)習(xí)方式，移動智能終端康復(fù)訓(xùn)練系統(tǒng)與聽障兒童的交互應(yīng)該能夠保證聽障兒童獨立、自主地完成有關(guān)內(nèi)容的訓(xùn)/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

練。我們操作反饋采用可視化的、振動的形式。提高學(xué)習(xí)過程的可控性，由于聽障兒童的認知水平參差不齊，接受訓(xùn)練知識的快慢程度迥異，因而訓(xùn)練過程的可控性對于聽障兒童自主學(xué)習(xí)顯得尤為重要，聽障兒童可以選擇自己要訓(xùn)練的內(nèi)容與難易程度，全方位提高記憶效果與訓(xùn)練療效。

選擇語詞組織語詞語詞耳朵耳朵語言模型整合畫面眼睛先前知識選擇圖像眼睛組織圖像圖像模型多媒體呈現(xiàn)感覺記憶工作記憶長時記憶

圖2-8 聽障兒童記憶流圖

因此本系統(tǒng)的優(yōu)勢體現(xiàn)在以下幾個方面：

（1）系統(tǒng)本身具備一對多的教學(xué)模式，利用三維模型代替老師，成功的解決康復(fù)訓(xùn)練師數(shù)量不足的問題。

（2）聽障兒童可實行自主獨立的訓(xùn)練，解決了依靠專業(yè)人員訓(xùn)練的難題。最后我們的移動智能終端，創(chuàng)造出隨時隨地的訓(xùn)練條件，使聽障兒童可在一切環(huán)境下進行發(fā)音訓(xùn)練，訓(xùn)練效果十分有效。/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

第3章 系統(tǒng)設(shè)計及工作原理

3.1系統(tǒng)流程

聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)（如圖3-1所示）主要分為三個模塊，分別是可視化模塊，傳輸模塊，標(biāo)準(zhǔn)語義庫。

可視化模塊包括三維頭像模擬發(fā)音和音頻文字轉(zhuǎn)語言音頻波形，通過采集不同人的語音信息，利用統(tǒng)計原理篩選出與標(biāo)準(zhǔn)發(fā)音度匹配的音頻，然后對語音進行分幀處理以提取語音的特征參數(shù)，建立語音幀與唇形類別的映射關(guān)系，數(shù)據(jù)加載后驅(qū)動三維模型發(fā)音，同時將訓(xùn)練者的音頻文字轉(zhuǎn)為波形。傳輸模塊不僅對音頻進行傳輸，還將特征點以半結(jié)構(gòu)化的XML文件形式進行傳輸，音頻信息與標(biāo)準(zhǔn)語義庫進行對比，從而綜合評判并反饋結(jié)果信息。

圖3-1 基于智能移動終端的聽障兒童言語康復(fù)系統(tǒng)整體流程圖 /47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

3.2 工作原理

3.2.1三維模型驅(qū)動

本實驗中使用FBX格式的面部模型，該格式文件是MotionBuilder軟件所固有的文件格式，在文件兼容性和對象的材質(zhì)、燈光等方面均高于其他的類型的文件格式[11-12]。

根據(jù) MPEG-4標(biāo)準(zhǔn)，人臉模型上定義了數(shù)據(jù)在空間上可參考的特征點，將這些特征點可分為不同的區(qū)域進行處理，并定義索引來表示特征點所在的區(qū)域，所有符合 MPEG-4人臉動畫標(biāo)準(zhǔn)[13]的人臉模型均定義了上述所有特征點位置。在本文的研究工作中，使用 3Dmax軟件對人臉模型進行構(gòu)建[14-15]：首先，建立人臉面部模型，定義人臉模型面部骨骼特征點數(shù)量；其次，建立骨骼空間結(jié)構(gòu)，在各個特征點之間構(gòu)建關(guān)聯(lián)，以配置和表達面部骨骼模型運動特性；最后，根據(jù)捕獲到的面部數(shù)據(jù)特征點名稱建立人臉模型特征點的映射關(guān)系，實現(xiàn)對人臉模型骨骼特征點的驅(qū)動，從而實現(xiàn)演員面部表情數(shù)據(jù)驅(qū)動虛擬角色面部運動并呈現(xiàn)表演效果。上述過程中的人臉模型在軟件默認的工作情況下采用 3DS格式保存，該格式不支持 MotionBuilder對其直接讀入和使用。因此，使用 3DMax軟件將面部模型進行轉(zhuǎn)換，將其輸出為網(wǎng)格格式，以支持使用 MotionBuilder進行三維數(shù)據(jù)表達，從而構(gòu)建了 3DMax和 MotionBuilder之間的兼容渠道。選擇帶有面部表情節(jié)點的三維面部模型，根據(jù)重建后特征點的位置關(guān)系，將特征點與模型的面部表情節(jié)點進行映射。根據(jù)特征點的映射區(qū)域關(guān)系，分別建立眼眉、眉角、鼻翼、嘴角、上唇、下唇、眼睛等模型表情節(jié)點與數(shù)據(jù)源間的映射關(guān)系，映射關(guān)系建立完成后，觸發(fā)重定向事件，達成數(shù)據(jù)源成功驅(qū)動三維面部模型。通過不同視圖，展現(xiàn)出面部模型的正面與側(cè)面[16]，如圖3-2所示。/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

圖3-2三維頭像基本模型

采用面部表情捕捉系統(tǒng)對面部表情進行捕捉，該系統(tǒng)由成像模塊，標(biāo)定套件、處理軟件、標(biāo)志套件等組成。通過紅外相機完成對面部關(guān)鍵點運動進行捕獲與跟蹤，追蹤精度可達0.1毫米以下，可實時模擬出人臉表情運動。

采集前，需要對紅外相機進行相機光學(xué)標(biāo)記，對6個相機的坐標(biāo)系進行統(tǒng)一，確保數(shù)據(jù)采集的精準(zhǔn)性。外參完成對坐標(biāo)系的統(tǒng)一，相機內(nèi)參與二維點坐標(biāo)計算面部特征點進行三維信息確定。相機標(biāo)定的目的是為了求出相機的內(nèi)參和外參。其中，內(nèi)參包括內(nèi)參矩陣與畸變系數(shù)，外參包括平移向量與旋轉(zhuǎn)向量。利用相機參數(shù)，建立世界坐標(biāo)系到圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，實現(xiàn)了像素點從二維平面到三維空間中的相互轉(zhuǎn)換，如圖3-3所示。

圖3-3三維運動捕捉系統(tǒng)

根據(jù)模型與重構(gòu)后特征點之間的映射關(guān)系，觸發(fā)綁定事件，驅(qū)動三維面部模型。在利用面部表情捕捉系統(tǒng)進行面部表情采集時，采集者面部需粘貼23個感光標(biāo)示點（圖3-4所示），頭部4個用于固定頭部相對位置，23個感光標(biāo)示點可/47 基于移動智能終端的聽障兒童言語康復(fù)訓(xùn)練系統(tǒng)說明書

捕獲正常人在發(fā)音時的面部表情，如唇部、兩腮、嘴角等部位。通過特征點的運動驅(qū)動三維面部模型，與此同時利用攝像機進行音頻采集。采集的數(shù)據(jù)文件以XML文件的形式進行保存（如圖3-5所示），XML文件具有半結(jié)構(gòu)化的特點，具有便捷快速性，可以通過節(jié)點找尋所需文件。

將捕獲到面部標(biāo)識點的三維數(shù)據(jù)保存至XML文件中。上述用于記錄和呈現(xiàn)面部表情捕捉數(shù)據(jù)的 XML文件內(nèi)容項包括：

（a）數(shù)據(jù)幀采集時間戳節(jié)點（數(shù)據(jù)項的標(biāo)簽名為），其用于保存獲取該幀數(shù)據(jù)的時間信息；

（b）頭部位置標(biāo)定數(shù)據(jù)節(jié)點（數(shù)據(jù)項的標(biāo)簽名為），對應(yīng)感光表示點的個數(shù)標(biāo)簽名分別為、、和，其用于表示目標(biāo)對象的頭部空間位置；

（c）面部骨骼節(jié)點的空間位置坐標(biāo)（數(shù)據(jù)項的標(biāo)簽名為