第一篇：BI系統(tǒng)總結(jié)

團(tuán)委引進(jìn)CI的原因：

? 明確團(tuán)委組織文化建設(shè)

? 增強(qiáng)團(tuán)委對外的影響力，建立團(tuán)委品牌，使我們更

方便、更有效地為同學(xué)服務(wù)。

? 營造團(tuán)委內(nèi)部的團(tuán)隊凝聚力

? 規(guī)范團(tuán)委的制度與行為

? 傳承團(tuán)委優(yōu)秀傳統(tǒng)和工作經(jīng)驗，規(guī)劃發(fā)展戰(zhàn)略。BI：行為識別：置于中間層位的BI則直接反映組織理念的個性和特殊性，是組織實踐管理理念與創(chuàng)造組織文化的準(zhǔn)則

.BI（Behavior Identity）行為識別系統(tǒng)

工程學(xué)院團(tuán)委的幫事宗旨應(yīng)始終圍繞團(tuán)委的口號

“團(tuán)結(jié)、高效、求真、務(wù)實”

一個組織的特色并不是體現(xiàn)在它的宣傳上，而是體現(xiàn)在其特有的組織文化上，而其行為則直接體現(xiàn)其特色，BI系統(tǒng)不僅適合于現(xiàn)代企業(yè)，其特有的組織先進(jìn)性也適合在其他組織上，工程學(xué)院團(tuán)委經(jīng)過長時間的探索，逐漸形成其特色的BI系統(tǒng)，以下主要體現(xiàn)在對內(nèi)與對外兩個方面。

? 對內(nèi)：組織制度、干部教育 項目管理 工作環(huán)境 行為規(guī)范、經(jīng)驗傳承成員發(fā)展、總結(jié)規(guī)范等

? 對外：活動策劃 公共關(guān)系、第一，團(tuán)委干部公共禮儀素質(zhì)

（1）講規(guī)則是根本：著裝要求，社交談吐；公共環(huán)境；電話和名片的使用

（2）懂處事是核心：與人方便，同己方便；與人講話，看人臉色；與人美言，可免百憂；微笑是打開心鎖的鑰匙；情比理更能打動人的心弦

第一，團(tuán)委干部公共演講素質(zhì)：用大腦想話；用語言傳話；用身體融話

第二，團(tuán)委干部公共策劃素質(zhì)：把想到的記下來；按記下來去實踐；把做過的總結(jié)起來

1.組織制度：“無規(guī)矩不成方圓”。春秋戰(zhàn)國時期，正是法家的法派商鞅使秦國 1

走向強(qiáng)大，終而一統(tǒng)天下。由此可見，沒有制度，無以成組織。制度化有利于團(tuán)委日常工作的開展?！豆睬鄨F(tuán)華南農(nóng)業(yè)大學(xué)工程學(xué)院委員會章程》是團(tuán)委所有干部的最高行動指南，還有《辦公室管理制度》《項目管理制度》《請假制度》《會議制度》《干部績效考核制度》《先進(jìn)團(tuán)支部評比條例》等規(guī)范團(tuán)委成員的日常工作。

（一）制度（節(jié)選）

《共青團(tuán)華南農(nóng)業(yè)大學(xué)工程學(xué)院委員會章程》

1.團(tuán)委會在校黨委的直接領(lǐng)導(dǎo)下，開展各項有益于學(xué)生學(xué)習(xí)和身心健康的活動，促使學(xué)生

德、智、體、美、勞全面發(fā)展。做優(yōu)秀團(tuán)員入黨的推薦、培養(yǎng)、考察工作。

2.團(tuán)委宗旨：以“團(tuán)結(jié)、高效、求真、務(wù)實”為原則，以服務(wù)廣大同學(xué)為宗旨，以馬克思

列寧主義、毛澤東思想、鄧小平理論和“三個代表”重要思想為行動指南,以科學(xué)發(fā)展觀為指導(dǎo)方針。團(tuán)委意識：創(chuàng)新意識，服務(wù)意識，學(xué)習(xí)意識，奉獻(xiàn)意識。

3.發(fā)揮黨聯(lián)系青年的橋梁和樞紐作用。關(guān)心學(xué)院廣大同學(xué)的學(xué)習(xí)和生活，切實為同學(xué)服務(wù)，及時向上級反映同學(xué)的意見和要求。

4.積極參與和配合學(xué)院搞好團(tuán)組織工作和學(xué)生會組織工作，致力于學(xué)生管理；帶動全院學(xué)

生活動，組織全院學(xué)生學(xué)習(xí)黨、團(tuán)的思想，致力于把全院學(xué)生培養(yǎng)為有理想、有道德、有學(xué)問的、具備綜合素質(zhì)的優(yōu)秀學(xué)生，為國家、為社會培養(yǎng)國家之棟梁，有用之才。要發(fā)揚團(tuán)的優(yōu)良傳統(tǒng)和先鋒作用，富于創(chuàng)造性地開展工作，把工程學(xué)院團(tuán)委建設(shè)作為教育青年團(tuán)員的堅強(qiáng)核心。

2.干部教育：

A：每一位團(tuán)委干部都應(yīng)該關(guān)注社會形勢發(fā)展，接受團(tuán)務(wù)教育和素質(zhì)培訓(xùn)，不斷提高辦事的效率和質(zhì)量。

B：平常應(yīng)多一點向上一屆的團(tuán)委成員請教,向老師討教等。

C：在平時的工作中多思考，多學(xué)習(xí)，充分利用網(wǎng)絡(luò)、圖書館、往屆團(tuán)委資料光碟，積累有經(jīng)驗的前輩傳承下來的底蘊。

D：多一點與本學(xué)院的學(xué)生組織交流，相互交流與學(xué)習(xí)。

E：可以以學(xué)院團(tuán)委的名義，與兄弟學(xué)院的團(tuán)委或其他組織進(jìn)行經(jīng)驗交流和相互學(xué)習(xí)，以達(dá)到共同進(jìn)步的目的。

3.項目管理：就是在有限資源的約束下，運用系統(tǒng)的觀點、方法和理論，對項目涉及的全部工作進(jìn)行有效地管理。項目化管理是以培養(yǎng)干部的創(chuàng)新精神和實踐能力為目的的，并在團(tuán)委的宏觀政策指導(dǎo)下，通過對每個活動和每件工作實行專人總負(fù)責(zé)，專人總管理的方法，使各方面的人力、物力、信息、資金等多方面資源達(dá)到最優(yōu)配置的一種學(xué)生工作運行方式。項目化管理為學(xué)生干部搭建成長的平臺，給他們留下自我發(fā)展的時間和空間

項目管理辦法：

（1）、成立籌委會時，負(fù)責(zé)人必須盡可能收集多關(guān)于項目的資料

（2）、籌委會必須于活動開展前向副書記提交初步策劃意向書

（3）、獲得批準(zhǔn)、并結(jié)合老師意見后完善活動的具體策劃書，工作開展

（4）、活動進(jìn)行過程中，籌委會必須定時向副書記匯報情況

（5）、活動后籌委會內(nèi)部必須2天內(nèi)向負(fù)責(zé)人匯報財政狀況

（6）、活動后必須于3天內(nèi)向副書記上交財務(wù)清單，副書記也應(yīng)在一周內(nèi)進(jìn) 行結(jié)余

（7）、活動后5天內(nèi)必須向副書記和秘書部提交電子版詳細(xì)項目總結(jié)報告

（8）、在完成財務(wù)結(jié)余和總結(jié)審核后，籌委會正式解散

附錄：《辦公室管理制度》

1、辦公室作用：（1）日常辦公場所（2）來訪同學(xué)的“窗口”（3）存放團(tuán)委學(xué)生會檔案

辦公室管理人員：秘書部

辦公室地址：工程學(xué)院北樓3082、值班時間：周一至周五：上午10：00-11：30，下午4：30-6：00

值班組長：每日秘書小組值班人員

值班人員的要求：準(zhǔn)時值班，不缺勤或早退，請假必須提前一天找人替班并告知當(dāng)日值

班組長。到位后及時填寫值班記錄。儀表穿戴整潔，佩帶工作證，熱

情待人。服從當(dāng)日值班組長指揮。離開辦公室需關(guān)閉所有電器、關(guān)好

門窗。

3、檔案管理：檔案要一式兩份，一份為電子版存于辦公室電腦，文件檔案分類存放入各類

文件夾。團(tuán)委學(xué)生會成員經(jīng)值班組長同意方可就地查閱。若需外借或拷貝電

子版需值班組長同意并登記，外借期限為2天。

4、電腦使用制度：嚴(yán)禁用于私人用途。電腦D盤為各類檔案，嚴(yán)禁在負(fù)責(zé)人統(tǒng)一整理之前刪除任何檔案。工作環(huán)境：一個組織運行的高效與良好，離不開一個良好的工作環(huán)境?？鞓返膱F(tuán)隊成員是工程團(tuán)委的財富，和諧的團(tuán)隊文化是工程團(tuán)委的靈魂。

團(tuán)委的工作環(huán)境應(yīng)該體現(xiàn)出人文關(guān)懷，成員間互愛互助

A:組織關(guān)心成員：在成員生日時送上誠摯的祝福，營造一種大家庭氛圍

B:組員相互幫忙：當(dāng)組員有困難時，大家盡力幫助，助人度難，以增強(qiáng)團(tuán)委組員的凝聚力，創(chuàng)建一種和諧的環(huán)境；

C:部長熱心對待干事:當(dāng)干事做錯事情時，部長們應(yīng)熱心幫忙糾正，體諒干事。D節(jié)日組織一些文體活動：如在中秋節(jié)組織不會家的成員們一起歡聚等行為規(guī)范：

A:團(tuán)委成員工作期間必須佩帶工作證，大型活動或集體工作期間必須穿上團(tuán)委工作服。

B:團(tuán)委成員在出席工作會議時應(yīng)該具備兩樣道具：筆和筆記本。會議中禁止玩手機(jī)、交頭接耳，手機(jī)應(yīng)調(diào)置靜音狀態(tài)，保持會場肅靜

C:平常接到領(lǐng)導(dǎo)的工作指示或安排時，應(yīng)嚴(yán)格執(zhí)行，按時完成，完美完成。

D:組員見面時要相互問好。

E:在工作期間組員們要認(rèn)真嚴(yán)肅，切勿大喊大叫，亂走亂跑。

F:在日常工作中，應(yīng)待人以禮，助人為樂，尊師為重。

G：在行為規(guī)范中，符合大學(xué)生行為準(zhǔn)則是前提，一切行為規(guī)范都以其開展。H：大家應(yīng)該懂得互相尊重，用微笑去真摯交流。

I：參加工作會議時，避免缺席、遲到、早退現(xiàn)象。按會議要求提前10分鐘進(jìn)場，如有事不能參加會議，應(yīng)事先按團(tuán)委規(guī)定逐級辦理請假手續(xù)；在完成上級組織下達(dá)的工作任務(wù)時，應(yīng)充分理解工作內(nèi)容，常常向組織匯報工作進(jìn)度，保證工作的銜接；任務(wù)實施時，遇到疑問和同事或組織商量。

6溝通規(guī)范：

團(tuán)委成員信息溝通應(yīng)該為“雙向高效”溝通。

A：“雙向”是指上級布置工作時對下級的耐心指導(dǎo)和經(jīng)驗傳承和下級向上級匯報工作是的工作總結(jié)和心得體會。

B高效”是指工作要定量化，在分工合作的模式下按時甚至提前完成工作。但高效并不代表只追求快而忘了質(zhì)量，團(tuán)委的高效應(yīng)該是在高質(zhì)量的前提下追求快。

C：團(tuán)委委員的通知由秘書部負(fù)責(zé)，團(tuán)委小組成員的通知由所屬部門負(fù)責(zé)。

7成員發(fā)展：

團(tuán)委成員的培養(yǎng)采取直接上級負(fù)責(zé)制，直接上級要注重下級的發(fā)展，進(jìn)行隨時隨地隨事地培養(yǎng)。

A;對于團(tuán)委部長級以上干部建議選修管理學(xué)課程；對于團(tuán)委全體成員進(jìn)行系列培訓(xùn)，由秘書部負(fù)責(zé)安排，由各個部門直接培訓(xùn)。

B:團(tuán)委成員作為學(xué)生干部，更應(yīng)該懂得在日常工作中總結(jié)經(jīng)驗，自我學(xué)習(xí)，不斷提高為人民服務(wù)的悟性。

C:在工作中，團(tuán)委成員要積極開展批評和自我批評，不斷完善自我，完善團(tuán)委。D:謙虛地向有經(jīng)驗的同學(xué)或老師請教。

E：懂得利用圖書館或網(wǎng)絡(luò)的知識，解決工作中的問題。

8經(jīng)驗傳承：

團(tuán)委每完成一個項目，應(yīng)該通過系統(tǒng)總結(jié)，將經(jīng)驗以文字記錄或光盤的形式傳承下來。不斷經(jīng)驗積累，避免重復(fù)投資，降低項目成本，實現(xiàn)高效管理。

A：在項目完成后一周內(nèi)，項目負(fù)責(zé)人以及各相應(yīng)分管部門把總結(jié)和和項目的所有相關(guān)資料交到秘書部匯總存檔。

B;平常工作中，上級應(yīng)該主動向下級介紹工作經(jīng)驗。

9總結(jié)規(guī)范：

A：項目負(fù)責(zé)人的總結(jié)內(nèi)容包括：①項目實際具體策劃書；②逐點羅列成功經(jīng)驗或突破，并相應(yīng)作具體說明；③逐點羅列不足之處或教訓(xùn)，并相應(yīng)分析原因和作出建議；④活動經(jīng)費結(jié)算清單。

B:籌委會內(nèi)部成員總結(jié)內(nèi)容包括：①介紹項目分管工作，對相關(guān)細(xì)節(jié)有必要作說明； ②逐點羅列成功經(jīng)驗或突破，并相應(yīng)作具體說明；③逐點羅列不足之處或教訓(xùn)，并相應(yīng)分析原因和作出建議。④對活動后，自己心里的體會。

1.活動策劃：

1.活動項目化，活動系列化，宣傳有效化，資金多元化，工作透明化

2.策劃書策劃書的主要內(nèi)容及應(yīng)注意的細(xì)節(jié)

（1）背景、主題（2）活動目的及意義（3）主辦，承辦，協(xié)辦方（4）活動對象（影響范圍）（5）活動時間地點活動內(nèi)容（6）活動籌備委員會（7）具體流程（8）效果預(yù)測（9）物資清單（10）經(jīng)費預(yù)算（11）突發(fā)情況處理方案（12）第二第三備選方案

2.公共關(guān)系：

? 正確處理學(xué)院團(tuán)委與年級團(tuán)總支間的關(guān)系，明確組織的責(zé)權(quán)，肯定團(tuán)總支的獨

立性。

? 積極配合校團(tuán)委、院黨委開展工作，加強(qiáng)與各兄弟學(xué)院團(tuán)委的交流合作，優(yōu)勢

互補(bǔ)，相互促進(jìn)，共謀華農(nóng)學(xué)生組織的發(fā)展。

? 堅持獨立性原則的基礎(chǔ)上，密切團(tuán)結(jié)院學(xué)生會，發(fā)揮兩大組織合作的巨大作用，攜手開創(chuàng)工程學(xué)院學(xué)生工作的美好明天

共青團(tuán)華南農(nóng)業(yè)大學(xué)工程學(xué)院委員會章程

總則

第一條 華南農(nóng)業(yè)大學(xué)工程學(xué)院團(tuán)委是在學(xué)院黨委直接領(lǐng)導(dǎo)下的學(xué)生群眾組織，她以共

產(chǎn)主義精神教育青年，幫助青年用馬克思列寧主義、毛澤東思想和現(xiàn)代科學(xué)文

化知識武裝自己，引導(dǎo)青年在社會主義現(xiàn)代化建設(shè)中，鍛煉成為有理想，有道

理，守紀(jì)律的共產(chǎn)主義事業(yè)的接班人。團(tuán)委會在校黨委的直接領(lǐng)導(dǎo)下，開展各

項有益于學(xué)生學(xué)習(xí)和身心健康的活動，促使學(xué)生德、智、體、美、勞全面發(fā)展。

團(tuán)委會要配合黨委開展適合學(xué)生特點的思想教育工作，引導(dǎo)學(xué)生樹立正確的人

生觀、世界觀、道德觀。團(tuán)委會代表青年學(xué)生的利益，維護(hù)青年學(xué)生利益，傾

聽同學(xué)們的呼聲，充分發(fā)揮橋梁和紐帶作用。對團(tuán)員進(jìn)行黨的基礎(chǔ)知識及黨的路線、方針、政策的教育，做優(yōu)秀團(tuán)員入黨的推薦、培養(yǎng)、考察工作。

第二條 團(tuán)委宗旨：

以“團(tuán)結(jié)、高效、求真、務(wù)實”為原則，以服務(wù)廣大同學(xué)為宗旨，以馬克思列

寧主義、毛澤東思想、鄧小平理論和“三個代表”重要思想為行動指南,以科學(xué)

發(fā)展觀為指導(dǎo)方針。

第三條 團(tuán)委意識：創(chuàng)新意識，服務(wù)意識，學(xué)習(xí)意識，奉獻(xiàn)意識。

第四條 院團(tuán)委的基本任務(wù)：

熱愛祖國，熱愛人民，堅決擁護(hù)中國共產(chǎn)黨的綱領(lǐng)，以馬克思列寧主義，毛澤

東思想和鄧小平理論及江澤民同志“三個代表”的重要思想為行動指南，以科

學(xué)發(fā)展觀為指導(dǎo)方針，解放思想，實事求是，與時俱進(jìn)，總攬全局、統(tǒng)籌規(guī)劃，團(tuán)結(jié)各年級學(xué)院團(tuán)員青年。堅定不移地貫徹黨在社會主義初級階段的基本路線，造就有理想，有道德，有文化，有紀(jì)律的社會主義接班人，努力為黨輸送新鮮

血液。加強(qiáng)學(xué)院廣大團(tuán)員的思想政治工作，幫助團(tuán)員青年學(xué)習(xí)科學(xué)文化知識，發(fā)揮團(tuán)總支的先鋒作用,不斷提高團(tuán)員青年的文化素質(zhì)與政治思想覺悟。

始終把實現(xiàn)好、維護(hù)好、發(fā)展好廣大團(tuán)員學(xué)生的根本利益作為團(tuán)委一切工

作的出發(fā)點和落腳點，尊重學(xué)生主體地位，發(fā)揮學(xué)生首創(chuàng)精神，保障學(xué)生

各項權(quán)益。

發(fā)揮黨聯(lián)系青年的橋梁和樞紐作用。關(guān)心學(xué)院廣大同學(xué)的學(xué)習(xí)和生活，切實為

同學(xué)服務(wù)，及時向上級反映同學(xué)的意見和要求。

積極參與和配合學(xué)院搞好團(tuán)組織工作和學(xué)生會組織工作，致力于學(xué)生管理；帶

動全院學(xué)生活動，組織全院學(xué)生學(xué)習(xí)黨、團(tuán)的思想，致力于把全院學(xué)生培養(yǎng)為

有理想、有道德、有學(xué)問的、具備綜合素質(zhì)的優(yōu)秀學(xué)生，為國家、為社會培養(yǎng)

國家之棟梁，有用之才。要發(fā)揚團(tuán)的優(yōu)良傳統(tǒng)和先鋒作用，富于創(chuàng)造性地開展

工作，把工程學(xué)院團(tuán)委建設(shè)作為教育青年團(tuán)員的堅強(qiáng)核心。

詳細(xì)內(nèi)容請查看《共青團(tuán)華南農(nóng)業(yè)大學(xué)工程學(xué)院委員會章程》

第二篇：典型的BI系統(tǒng)介紹

一個典型的BI系統(tǒng)介紹

商業(yè)智能系統(tǒng)應(yīng)具有的主要功能：

讀取數(shù)據(jù)——可讀取多種格式（如Excel、Access、以Tab分割的txt和固定長的txt等）的文件，同時可讀取關(guān)系型數(shù)據(jù)庫(對應(yīng)ODBC)中的數(shù)據(jù)。

分析功能——關(guān)聯(lián)/限定 關(guān)聯(lián)分析主要用于發(fā)現(xiàn)不同事件之間的關(guān)聯(lián)性，即一個事件發(fā)生的同時，另一個事件也經(jīng)常發(fā)生。關(guān)聯(lián)分析的重點在于快速發(fā)現(xiàn)那些有實用價值的關(guān)聯(lián)發(fā)生的事件。

數(shù)據(jù)輸出功能——打印統(tǒng)計列表和圖表畫面等，可將統(tǒng)計分析好的數(shù)據(jù)輸出給其他的應(yīng)用程序使用，或者以HTML格式保存。

定型處理——所需要的輸出被顯示出來時，進(jìn)行定型登錄，可以自動生成定型處理按鈕。以后，只需按此按鈕，即使很復(fù)雜的操作，也都可以將所要的列表、視圖和圖表顯示出來。

以國外的一個BI系統(tǒng)為例，我們來介紹一個BI系統(tǒng)的主要功能，這個系統(tǒng)主要包含數(shù)據(jù)倉庫管理器(Warehouse Manager)、數(shù)據(jù)復(fù)制(Data Propagator)、多維數(shù)據(jù)庫(OLAP Server)、前臺分析工具(Wired for OLAP)以及數(shù)據(jù)挖掘(Intelligent Miner)、On Demand。

數(shù)據(jù)倉庫管理器(Warehouse Manager)

它主要由以下幾部分功能組成：數(shù)據(jù)訪問，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)分布，數(shù)據(jù)存儲，靠描述性數(shù)據(jù)查找和理解數(shù)據(jù)，顯示、分析和發(fā)掘數(shù)據(jù)，數(shù)據(jù)轉(zhuǎn)換過程的自動化及其管理。它縮短了復(fù)雜的海量數(shù)據(jù)與有洞察力的商務(wù)決策之間的差距，有助于公司更進(jìn)一步了解其業(yè)務(wù)、市場、競爭對手和客戶。

數(shù)據(jù)復(fù)制(Data Propagator)

Data Propagator提供的復(fù)制功能允許從一個數(shù)據(jù)源讀取數(shù)據(jù)并把它送到另外一個地方，而且可以是雙向的。當(dāng)發(fā)生沖突時，可自動檢測出來并進(jìn)行補(bǔ)償。此外，它還有以下特色：

1)Pull Architecture Through Staging Tables(分級表牽引式體系結(jié)構(gòu))：二個組成部分----

Capture和Apply。Capture部分在源數(shù)據(jù)庫服務(wù)器上運行，它捕獲要被復(fù)制的數(shù)據(jù)，并把數(shù)據(jù)放入服務(wù)器分級表中；Apply部分在目標(biāo)機(jī)上運行。在用戶定義的時間間隔里或某個事件發(fā)生后，它連到源數(shù)據(jù)庫中，并從分級表中抽取所需的數(shù)據(jù)。這種被動的“牽引式”體系結(jié)構(gòu)減少了數(shù)據(jù)源的額外開銷，能夠支持?jǐn)?shù)據(jù)源及目標(biāo)機(jī)的獨立運作性以及新一代流動計算機(jī)作為目標(biāo)機(jī)的數(shù)據(jù)復(fù)制。這種體系結(jié)構(gòu)還支持中介分級表，其中最初的源可以復(fù)制到區(qū)域目標(biāo)中，然后再復(fù)制到各區(qū)域內(nèi)的目標(biāo)機(jī)上。

(2)支持更新和修正：既支持更新也支持修正復(fù)制。Apply可以完全替換目標(biāo)數(shù)據(jù)或者僅僅修正上次復(fù)制以來所發(fā)生的改變。

(3)改變事務(wù)運行記錄的Capture：捕獲數(shù)據(jù)修改。它從數(shù)據(jù)庫運行日志(LOG)中讀出修改，從而抓取用于復(fù)制的數(shù)據(jù)修改，進(jìn)而安排好這些數(shù)據(jù)。這就減少了對源的額外開銷，不需要另外處理如觸發(fā)器。甚至可以直接從內(nèi)存中讀運行記錄，以減少I/O。

(4)加工數(shù)據(jù)：數(shù)據(jù)首先要從運行記錄移到分級表，所以能在復(fù)制之前加工或處理它；由于分級表是數(shù)據(jù)庫表，使用標(biāo)準(zhǔn)SQL就能定義加工處理功能。除了通過SQL來構(gòu)造子集，匯總并連結(jié)表以外，分級表還能提供基于時間分析源數(shù)據(jù)改變的方法。這要考慮到整個新一類的應(yīng)用包括檢查跟蹤，歷史分析，“asof”查詢等等。

（5)GUI管理機(jī)構(gòu)：通過圖形用戶界面可以定義和管理數(shù)據(jù)拷貝，定義代碼和觸發(fā)器沒有專門語言。這樣最終用戶就有權(quán)定義和管理，而不僅僅是DBA和程序員的范圍。

多維數(shù)據(jù)庫服務(wù)器(OLAPServer)

該工具在商務(wù)智能中扮演著重要角色，可以深入最終用戶的業(yè)務(wù)，對桌面上的數(shù)據(jù)進(jìn)行實時操作，能夠快速地分布傳統(tǒng)監(jiān)視和報告范圍之外的應(yīng)用程序數(shù)據(jù)。

數(shù)據(jù)挖掘工具(IntelligentMiner)

當(dāng)用戶的數(shù)據(jù)積累到一定數(shù)量時，這些數(shù)據(jù)的某些潛在聯(lián)系、分類、推導(dǎo)結(jié)果和待發(fā)現(xiàn)價值隱藏在其中，該工具幫助客戶發(fā)現(xiàn)這些有價值的數(shù)據(jù)。

Wired for OLAP

使用該功能可以提高信息技術(shù)組織的效率。信息技術(shù)人員可以讓用戶利用分析和報表的功能獲得他們所需的信息，而不會失去對信息、數(shù)據(jù)完整性、系統(tǒng)性能和系統(tǒng)安全的控制。

(1)強(qiáng)大功能的報表

繁忙的信息技術(shù)部門可以在幾分鐘內(nèi)創(chuàng)建用于在企業(yè)中分發(fā)的完善的報表。，決策人員可以從該Web頁面上找到可用的一系列報表。

(2)圖形化分析

遠(yuǎn)遠(yuǎn)超出對數(shù)據(jù)的靜態(tài)圖形化視圖，提供強(qiáng)壯的圖形化OLAP分析。決策人員可以根據(jù)需要排序、分組數(shù)據(jù)并改變“圖表”(Chart)的類型（直方圖、餅形圖、線圖、堆積圖）。圖表中的元素可以被“鉆取”到其他的細(xì)節(jié)層次，并可以返回來恢復(fù)一個概要性的視圖。

(3)多種圖表視圖：直方圖、線圖、組合圖、餅形圖、堆積圖和離散點圖

(4)可在任何地方“鉆取”沒有路徑的預(yù)先定義

(5)完善的報表：復(fù)合報表通過用各種不同的形式（交叉表、圖表、表格或以上幾種形式的組合)來表現(xiàn)分析結(jié)果，對工作進(jìn)行概括；優(yōu)美格式的商用報表。

(6)交互式的、立即的“所見即所得”(WYSIWYG)顯示

OnDemand

該工具提供給客戶一套高性能的解決方案來進(jìn)行在線捕獲、存儲和重取計算機(jī)輸出的文檔。它使得落后的紙張文件搜索和使用縮微膠片閱讀器搜索稱為歷史。有了OnDemand，客戶可以立刻發(fā)現(xiàn)特定的信息并且很容易地瀏覽它，而不用在龐大的數(shù)據(jù)和紙張中苦苦尋找；存儲、重取和分發(fā)企業(yè)產(chǎn)生的信息比以前更加方便和易于接受。泰康人壽 以BI實現(xiàn)戰(zhàn)略轉(zhuǎn)型

泰康人壽保險公司從建立之初，就意識到信息化建設(shè)對企業(yè)發(fā)展的重要性。為促進(jìn)業(yè)務(wù)的開展，泰康人壽已經(jīng)建立有多個業(yè)務(wù)信息系統(tǒng)，主要包含:財務(wù)系統(tǒng)、個險系統(tǒng)、團(tuán)險和銀行險系統(tǒng)，呼叫中心以及用于開展電子商務(wù)的泰康在線交易系統(tǒng)。這些系統(tǒng)從企業(yè)不同需求層面很好的支持了泰康人壽的業(yè)務(wù)運營。但由于各個系統(tǒng)都有自己的數(shù)據(jù),如何將分散在不同系統(tǒng)的客戶數(shù)據(jù)集中起來有效使用，為各部門提供數(shù)據(jù)分析能力，為決策提供依據(jù),成為目前需要解決的問題。

為此，泰康人壽希望建立一套以CRM為核心的商務(wù)智能系統(tǒng)(BI)，使公司管理人員能夠?qū)εc客戶(現(xiàn)有客戶以及潛在客戶)有關(guān)的各種要素(需要、方式、機(jī)遇、風(fēng)險、代價等)和企業(yè)運營當(dāng)中各項關(guān)鍵指標(biāo)(KPI)做出分析與評估，以便于為本企業(yè)贏得最大的回報。

泰康人壽商務(wù)智能項目最終選擇了Sybase壽險行業(yè)IWS解決方案，并以此為基礎(chǔ)整合原有的五大業(yè)務(wù)系統(tǒng)，實施九項業(yè)務(wù)分析主題。

在實施方法上，泰康保險采用了增量式開發(fā)，也就是整體設(shè)計、分布實施的策略，這可以使泰康人壽能夠邊實施邊見效，并且使用過程中的反饋信息將有助于下一步的開發(fā)工作，因此極大地提高了開發(fā)的效率。BI項目分成兩個主要階段：第一階段，完成BI項目的一個或二個分析主題。第二階段，以第一階段建立的分析環(huán)境為原型，進(jìn)行更進(jìn)一步的需求調(diào)研，完善和明確BI項目的業(yè)務(wù)需求，全面地進(jìn)行IWS的客戶化工作。

商務(wù)職能系統(tǒng)能夠使泰康人壽在成本、收入和戰(zhàn)略方面獲益。

成本方面：借助商務(wù)智能系統(tǒng)，泰康人壽可以得到完整的視圖，來分析成本構(gòu)成，改變成本管理現(xiàn)狀，降低業(yè)務(wù)運作成本。通過CRM 系統(tǒng)提供的各項分析數(shù)據(jù)，泰康人壽能在商業(yè)活動中，以更低的風(fēng)險，做出最明智的決策。

收入方面：通過對營銷員和營銷機(jī)構(gòu)產(chǎn)能的分析、利潤的分析，可以大大改進(jìn)泰康人壽在營銷過程中的效率，加速產(chǎn)品上市時間，獲得更精確更全面的市場和客戶信息,實現(xiàn)與合作伙伴之間更好的合作，提高團(tuán)隊效率，保證將重要客戶信息提供給需要方而提升交叉銷售業(yè)績。

戰(zhàn)略方面：借助商務(wù)智能平臺，泰康能對不斷變化的市場環(huán)境、客戶需求做出更快的反應(yīng)。從歷史數(shù)據(jù)中選擇不同的角度考察消費行為,評估客戶價值，細(xì)分客戶群；針對不同的客戶群發(fā)掘消費特點，建立數(shù)據(jù)模型，對不同的客戶群做出預(yù)測；估計對收益或利潤的影響，對市場活動的效果進(jìn)行預(yù)測，通過設(shè)置商業(yè)規(guī)則，進(jìn)行復(fù)雜的市場劃分；最終幫助泰康實現(xiàn)從以產(chǎn)品為中心的戰(zhàn)略，轉(zhuǎn)換到以客戶為中心的戰(zhàn)略。Session1：醫(yī)院智能分析業(yè)務(wù)與需求

Session2：解決方案技術(shù)框架與Demo效果；

Session3：關(guān)鍵技術(shù)和實現(xiàn)；

ETL-如何確定起始來源數(shù)據(jù)

How is the system-of-record determined? 如何確定起始來源數(shù)據(jù)？ 答：

這個問題的關(guān)鍵是理解什么是System-of-Record。System-of-Record和數(shù)據(jù)倉庫領(lǐng)域內(nèi)的其他很多概念一樣，不同的人對它有不同的定義。在Kimball的體系中，System-of-Record是指最初產(chǎn)生數(shù)據(jù)的地方，即數(shù)據(jù)的起始來源。在較大的企業(yè)內(nèi)，數(shù)據(jù)會被冗余的保存在不同的地方，在數(shù)據(jù)的遷移過程中，會出現(xiàn)修改、清洗等操作，導(dǎo)致與數(shù)據(jù)的起始來源產(chǎn)生不同。

起始來源數(shù)據(jù)對數(shù)據(jù)倉庫的建立有著非常重要的作用，尤其是對產(chǎn)生一致性維度來說。我們從起始來源數(shù)據(jù)的越下游開始建立數(shù)據(jù)倉庫，我們遇到垃圾數(shù)據(jù)的風(fēng)險就會越大。

ETL架構(gòu)師面試題（中文）ETL架構(gòu)師面試題（中文）

本部分的題目來自Kimball的ETL Toolkit著作，原著未直接給出答案。這里的中文題目和答案是我參考其原著按自己的理解整理而來的，僅供參考。對于其中不確切的地方，歡迎大家一起溝通。有興趣的朋友可以直接閱讀原著。

-----答案持續(xù)更新中，點擊題目可見答案。

分析

1．什么是邏輯數(shù)據(jù)映射？它對ETL項目組的作用是什么？

2．在數(shù)據(jù)倉庫項目中，數(shù)據(jù)探索階段的主要目的是什么？

3．如何確定起始來源數(shù)據(jù)？

架構(gòu)

4．在ETL過程中四個基本的過程分別是什么？

答：

Kimball數(shù)據(jù)倉庫構(gòu)建方法中，ETL的過程和傳統(tǒng)的實現(xiàn)方法有一些不同，主要分為四個階段，分別是抽?。╡xtract）、清洗（clean）、一致性處理（comform）和交付（delivery），簡稱為ECCD。

1．抽取階段的主要任務(wù)是： 讀取源系統(tǒng)的數(shù)據(jù)模型。連接并訪問源系統(tǒng)的數(shù)據(jù)。變化數(shù)據(jù)捕獲。

抽取數(shù)據(jù)到數(shù)據(jù)準(zhǔn)備區(qū)。2．清洗階段的主要任務(wù)是： 清洗并增補(bǔ)列的屬性。清洗并增補(bǔ)數(shù)據(jù)結(jié)構(gòu)。清洗并增補(bǔ)數(shù)據(jù)規(guī)則。增補(bǔ)復(fù)雜的業(yè)務(wù)規(guī)則。

建立元數(shù)據(jù)庫描述數(shù)據(jù)質(zhì)量。

將清洗后的數(shù)據(jù)保存到數(shù)據(jù)準(zhǔn)備區(qū)。3．一致性處理階段的主要任務(wù)是：

一致性處理業(yè)務(wù)標(biāo)簽，即維度表中的描述屬性。

一致性處理業(yè)務(wù)度量及性能指標(biāo)，通常是事實表中的事實。去除重復(fù)數(shù)據(jù)。國際化處理。

將一致性處理后的數(shù)據(jù)保存到數(shù)據(jù)準(zhǔn)備區(qū)。4．交付階段的主要任務(wù)是：

加載星型的和經(jīng)過雪花處理的維度表數(shù)據(jù)。產(chǎn)生日期維度。加載退化維度。加載子維度。

加載1、2、3型的緩慢變化維度。處理遲到的維度和遲到的事實。加載多值維度。

加載有復(fù)雜層級結(jié)構(gòu)的維度。加載文本事實到維度表。處理事實表的代理鍵。

加載三個基本類型的事實表數(shù)據(jù)。加載和更新聚集。

將處理好的數(shù)據(jù)加載到數(shù)據(jù)倉庫。

從這個任務(wù)列表中可以看出，ETL的過程和數(shù)據(jù)倉庫建模的過程結(jié)合的非常緊密。換句話說，ETL系統(tǒng)的設(shè)計應(yīng)該和目標(biāo)表的設(shè)計同時開始。通常來說，數(shù)據(jù)倉庫架構(gòu)師和ETL系統(tǒng)設(shè)計師是同一個人。

5．在數(shù)據(jù)準(zhǔn)備區(qū)中允許使用的數(shù)據(jù)結(jié)構(gòu)有哪些？各有什么優(yōu)缺點？

6．簡述ETL過程中哪個步驟應(yīng)該出于安全的考慮將數(shù)據(jù)寫到磁盤上？

抽取

7．簡述異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取技術(shù)。

8．從ERP源系統(tǒng)中抽取數(shù)據(jù)最好的方法是什么？

9．簡述直接連接數(shù)據(jù)庫和使用ODBC連接數(shù)據(jù)庫進(jìn)行通訊的優(yōu)缺點。

10．簡述出三種變化數(shù)據(jù)捕獲技術(shù)及其優(yōu)缺點。

數(shù)據(jù)質(zhì)量

11．?dāng)?shù)據(jù)質(zhì)量檢查的四大類是什么？為每類提供一種實現(xiàn)技術(shù)。

12．簡述應(yīng)該在ETL的哪個步驟來實現(xiàn)概況分析？

13．ETL項目中的數(shù)據(jù)質(zhì)量部分核心的交付物有那些？

14．如何來量化數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量？

建立映射

15．什么是代理鍵？簡述代理鍵替換管道如何工作。

16．為什么在ETL的過程中需要對日期進(jìn)行特殊處理？

17．簡述對一致性維度的三種基本的交付步驟。

18．簡述三種基本事實表，并說明ETL的過程中如何處理它們。

19．簡述橋接表是如何將維度表和事實表進(jìn)行關(guān)聯(lián)的？

20．遲到的數(shù)據(jù)對事實表和維度表有什么影響？怎樣來處理這個問題？

元數(shù)據(jù)

21．舉例說明各種ETL過程中的元數(shù)據(jù)。

22．簡述獲取操作型元數(shù)據(jù)的方法。

23．簡述共享業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的方法。

優(yōu)化/操作

24．簡述數(shù)據(jù)倉庫中的表的基本類型，以及為了保證引用完整性該以什么樣的順序?qū)λ鼈冞M(jìn)行加載。

25．簡述ETL技術(shù)支持工作的四個級別的特點。

26．如果ETL進(jìn)程運行較慢，需要分哪幾步去找到ETL系統(tǒng)的瓶頸問題。

27．簡述如何評估大型ETL數(shù)據(jù)加載時間。

實時ETL

28．簡述在架構(gòu)實時ETL時的可以選擇的架構(gòu)部件。

29．簡述幾種不同的實時ETL實現(xiàn)方法以及它們的適用范圍。

30．簡述實時ETL的一些難點及其實現(xiàn)方法。ETL-邏輯數(shù)據(jù)映射

What is a logical data mapping and what does it mean to the ETL team? 什么是邏輯數(shù)據(jù)映射？它對ETL項目組的作用是什么？ 答：

邏輯數(shù)據(jù)映射（Logical Data Map）用來描述源系統(tǒng)的數(shù)據(jù)定義、目標(biāo)數(shù)據(jù)倉庫的模型以及將源系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉庫中需要做操作和處理方式的說明文檔，通常以表格或Excel的格式保存如下的信息： 目標(biāo)表名： 目標(biāo)列名：

目標(biāo)表類型：注明是事實表、維度表或支架維度表。SCD類型：對于維度表而言。

源數(shù)據(jù)庫名：源數(shù)據(jù)庫的實例名，或者連接字符串。源表名： 源列名：

轉(zhuǎn)換方法：需要對源數(shù)據(jù)做的操作，如Sum(amount)等。

邏輯數(shù)據(jù)映射應(yīng)該貫穿數(shù)據(jù)遷移項目的始終，在其中說明了數(shù)據(jù)遷移中的ETL策略。在進(jìn)行物理數(shù)據(jù)映射前進(jìn)行邏輯數(shù)據(jù)映射對ETL項目組是重要的，它起著元數(shù)據(jù)的作用。項目中最好選擇能生成邏輯數(shù)據(jù)映射的數(shù)據(jù)遷移工具。

-----------------------------補(bǔ)充：

邏輯數(shù)據(jù)映射分為兩種:

: 模型映射: 從源模型到DW目標(biāo)模型之間的映射類型有： 一對一：一個源模型的數(shù)據(jù)實體只對應(yīng)一個目標(biāo)模型的數(shù)據(jù)實體。如果源類型與目標(biāo)類型一致，則直接映射。如果兩者間類型不一樣，則必須經(jīng)過轉(zhuǎn)換映射。

一對多：一個源模型的數(shù)據(jù)實體只對應(yīng)多個目標(biāo)模型的數(shù)據(jù)實體。在同一個數(shù)據(jù)存儲空間，常常出現(xiàn)會一個源實體拆分為多個目標(biāo)實體的情況下。在不同的存儲空間中，結(jié)果會對應(yīng)到不同的存儲空間的實體。一對零：一個源模型的數(shù)據(jù)實體沒有與目標(biāo)模型的數(shù)據(jù)實體有對應(yīng)，它不在我們處理的計劃范圍之內(nèi)。零對一：一個目標(biāo)模型的數(shù)據(jù)實體沒有與任何一個源數(shù)據(jù)實體對應(yīng)起來。例如只是根據(jù)設(shè)計考慮，時間維表等。

多對一：多個源模型的數(shù)據(jù)實體只對應(yīng)一個目標(biāo)模型的數(shù)據(jù)實體。多對多：多個源模型的數(shù)據(jù)實體對應(yīng)多個目標(biāo)模型的數(shù)據(jù)實體。

2: 屬性映射 一對一：源實體的一個數(shù)據(jù)屬性列只對應(yīng)目標(biāo)實體的一個數(shù)據(jù)屬性列。如果源類型與目標(biāo)類型一致，則直接映射。如果兩者間類型不一樣，則必須經(jīng)過轉(zhuǎn)換映射。

一對多：源實體的一個數(shù)據(jù)屬性列只對應(yīng)目標(biāo)實體的多個數(shù)據(jù)屬性列。在同一個實體中，常常出現(xiàn)會一個源屬性列拆分為目標(biāo)的多個屬性列情況。在不同實體中，結(jié)果會對應(yīng)到不同的實體的屬列。一對零：一個源實體的數(shù)據(jù)屬性列沒有與目標(biāo)實體的數(shù)據(jù)屬性列有對應(yīng)，它不在我們處理的計劃范圍之內(nèi)。零對一：一個目標(biāo)實體的數(shù)據(jù)屬性列沒有與任何一個源數(shù)據(jù)屬性列對應(yīng)起來。例如只是根據(jù)設(shè)計考慮，維表和事實表中的時間戳屬性，代理健等。

多對一：源實體的多個數(shù)據(jù)屬性列只對應(yīng)目標(biāo)實體的一個數(shù)據(jù)屬性列。多對多：源實體的多個數(shù)據(jù)屬性列對應(yīng)目標(biāo)實體的多個數(shù)據(jù)屬性列。

作用: 1 為開發(fā)者傳送更為清晰的數(shù)據(jù)流信息。映射關(guān)系包括有關(guān)數(shù)據(jù)在存儲到DW前所經(jīng)歷的各種變化的信息，對于開發(fā)過程中數(shù)據(jù)的追蹤審查過程非常重要。把ETL過程的信息歸納為元數(shù)據(jù)，將數(shù)據(jù)源結(jié)構(gòu)，目標(biāo)結(jié)構(gòu)，數(shù)據(jù)轉(zhuǎn)換規(guī)則，映射關(guān)系，數(shù)據(jù)的上下文等元數(shù)據(jù)保存在存儲知識庫中，為元數(shù)據(jù)消費者提供很好的參考信息，追蹤數(shù)據(jù)來源與轉(zhuǎn)換信息，有助于設(shè)計人員理解系統(tǒng)環(huán)境變化所造成的影響；

開發(fā)設(shè)計者可以輕松的回答以下的問題：

1、這些數(shù)據(jù)從那里來？

2、這樣的結(jié)果通過什么樣的計算和轉(zhuǎn)化得來？

3、這些數(shù)據(jù)是如何組織的？

4、數(shù)據(jù)項之間有什么聯(lián)系？

5、如果源發(fā)生變化，有那幾個系統(tǒng)，目標(biāo)受影響？

ETL-數(shù)據(jù)探索階段的主要目的

What are the primary goals of the data discovery phase of the data warehouse project? 在數(shù)據(jù)倉庫項目中，數(shù)據(jù)探索階段的主要目的是什么？ 答：

在邏輯數(shù)據(jù)映射進(jìn)行之前，需要首先對所有的源系統(tǒng)進(jìn)行分析。對源系統(tǒng)的分析通常包括兩個階段，一個是數(shù)據(jù)探索階段（Data Discovery Phase），另一個是異常數(shù)據(jù)檢測階段。數(shù)據(jù)探索階段包括以下內(nèi)容：

1．收集所有的源系統(tǒng)的文檔、數(shù)據(jù)字典等內(nèi)容。

2．收集源系統(tǒng)的使用情況，如誰在用、每天多少人用、占多少存儲空間等內(nèi)容。3．判斷出數(shù)據(jù)的起始來源（System-of-Record）。

4．通過數(shù)據(jù)概況（Data Profiling）來對源系統(tǒng)的數(shù)據(jù)關(guān)系進(jìn)行分析。數(shù)據(jù)探索階段的主要目的是理解源系統(tǒng)的情況，為后續(xù)的數(shù)據(jù)建模和邏輯數(shù)據(jù)映射打下堅實的基礎(chǔ)。

選擇合適的ETL工具

ETL解決方案包括數(shù)據(jù)抽?。‥）、數(shù)據(jù)傳輸、轉(zhuǎn)換與清洗（T）、數(shù)據(jù)加載、調(diào)度（L），ETL系統(tǒng)將貫穿整個商業(yè)智能系統(tǒng)的全過程。

目前，商業(yè)智能系統(tǒng)有兩種實施策略：

一種是將BI系統(tǒng)建造在目前已有的業(yè)務(wù)系統(tǒng)之上，以企業(yè)應(yīng)用集成（EAI）系統(tǒng)為核心，將各個業(yè)務(wù)系統(tǒng)的獨立數(shù)據(jù)統(tǒng)一成標(biāo)準(zhǔn)數(shù)據(jù)格式（如XML），然后，由BI系統(tǒng)進(jìn)行整合、分析、展現(xiàn)。此類BI系統(tǒng)通常是與EAI系統(tǒng)捆綁在一起的，其架構(gòu)讀者可通過EAI系統(tǒng)的相關(guān)資料進(jìn)行了解，此處將不做討論。

另一種是將BI系統(tǒng)建立在企業(yè)級的數(shù)據(jù)倉庫基礎(chǔ)上，由數(shù)據(jù)倉庫將企業(yè)的業(yè)務(wù)數(shù)據(jù)統(tǒng)一存儲在企業(yè)邏輯數(shù)據(jù)模型架構(gòu)中，然后，通過在數(shù)據(jù)倉庫基礎(chǔ)上建立邏輯或物理的數(shù)據(jù)集市、數(shù)據(jù)決策系統(tǒng)、數(shù)據(jù)在線分析系統(tǒng)等子系統(tǒng)，完成數(shù)據(jù)的整合、分析，然后由前端展現(xiàn)工具對已有的數(shù)據(jù)（原始數(shù)據(jù)、整合數(shù)據(jù)）進(jìn)行匯總及展現(xiàn)。由于此類BI系統(tǒng)可以分步實施，用戶可逐步建立其BI系統(tǒng)，所以成功率比較高。以目前已有的商業(yè)智能系統(tǒng)來看，此種架構(gòu)將成為商業(yè)智能系統(tǒng)發(fā)展的主流。以下的討論將以此種架構(gòu)為基礎(chǔ)。

在企業(yè)級的以數(shù)據(jù)倉庫系統(tǒng)為中心的商業(yè)智能系統(tǒng)中，其組成架構(gòu)包括以下幾部分：

● 源數(shù)據(jù)系統(tǒng)

● 可操作數(shù)據(jù)存儲系統(tǒng)（ODS）

● 數(shù)據(jù)決策系統(tǒng)（DDS）

● 在線分析系統(tǒng)（OLAP）

● 前端展現(xiàn)工具

● 元數(shù)據(jù)系統(tǒng)

商業(yè)智能系統(tǒng)運行的基礎(chǔ)是互相獨立、互不兼容的、復(fù)雜的源數(shù)據(jù)系統(tǒng)，各個源數(shù)據(jù)系統(tǒng)是企業(yè)在不同的歷史時期建立的，面向不同業(yè)務(wù)需求的生產(chǎn)系統(tǒng)。因此，依照合理的方式整合源數(shù)據(jù)系統(tǒng)，將源數(shù)據(jù)統(tǒng)一存儲在以企業(yè)邏輯模型構(gòu)建的ODS系統(tǒng)中，DDS、OLAP、前端展現(xiàn)工具依照用戶需求，對數(shù)據(jù)進(jìn)行匯總、展示，并按照用戶喜好的方式，將結(jié)果展現(xiàn)在用戶面前是商業(yè)智能系統(tǒng)的基本任務(wù)。由于企業(yè)業(yè)務(wù)系統(tǒng)的復(fù)雜性，各個源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、格式、定義各不相同，為了能有效的整合企業(yè)數(shù)據(jù)系統(tǒng)，保持?jǐn)?shù)據(jù)的一致性，并將數(shù)據(jù)統(tǒng)一地展現(xiàn)在客戶面前，ETL解決方案是用戶唯一的選擇。

ETL解決方案包括數(shù)據(jù)抽取（E）、數(shù)據(jù)傳輸、轉(zhuǎn)換與清洗（T）、數(shù)據(jù)加載、調(diào)度（L），毋庸置言，ETL系統(tǒng)將貫穿整個商業(yè)智能系統(tǒng)的全過程，如圖所示，從源數(shù)據(jù)系統(tǒng)到前端展示系統(tǒng)的整個商業(yè)智能系統(tǒng)各個組件之間，都存在ETL過程。

ETL方案對整個商業(yè)智能系統(tǒng)的重要性可與血液與人體的作用相提并論，一個有效的ETL處理方案將是系統(tǒng)成功的首要因素。

ETL方案的選擇應(yīng)考慮以下方面：

● 數(shù)據(jù)操作效率；

● 數(shù)據(jù)操作時間周期；

● 定制的靈活性。

對ETL來說，數(shù)據(jù)操作的效率是最重要的考慮因素。對效率的考察，應(yīng)包括以下幾點：

1.是否支持復(fù)雜的數(shù)據(jù)操作；

2.是否支持多任務(wù)并行操作；

3.是否符合系統(tǒng)對數(shù)據(jù)處理時間窗口的要求。

數(shù)據(jù)操作時間周期的支持包括：

1.是否支持各種數(shù)據(jù)處理時間周期的混合操作；

2.是否支持?jǐn)?shù)據(jù)的小批量持續(xù)加載；

3.是否支持?jǐn)?shù)據(jù)的大批量定時加載。

定制靈活性包括：

1.是否支持?jǐn)?shù)據(jù)依賴的建立；

2.是否支持?jǐn)?shù)據(jù)流的建立；

3.是否支持操作定時啟動；

4.是否可擴(kuò)展；

5.開發(fā)環(huán)境是什么，開發(fā)是否簡單、靈活。

對于ETL流程的建立，通常有以下兩種方式：

● 利用數(shù)據(jù)庫系統(tǒng)、業(yè)務(wù)子系統(tǒng)工具自行開發(fā)

● 購買現(xiàn)成的ETL工具

通常情況下，ETL方案中，以上兩種方式是同時存在的。一般情況下，利用各個子系統(tǒng)提供的工具進(jìn)行自行開發(fā)，可充分利用子系統(tǒng)的優(yōu)化操作，提高數(shù)據(jù)處理效率，但其靈活性和可擴(kuò)展性欠佳；購買現(xiàn)成的ETL工具（如EAI、Informatic等廠商的ETL工具），可靈活定制數(shù)據(jù)處理流程，簡化數(shù)據(jù)開發(fā)，縮短ETL方案實施周期，但其處理效率較低。因此，建議讀者應(yīng)結(jié)合以上的ETL建立方式，在保證ETL性能的前提下，購買合適的ETL工具。利用UDF來調(diào)用操作系統(tǒng)命令和DB2的常用命令

由于DB2是不支持復(fù)合 SQL 語句內(nèi)不支持調(diào)用操作系統(tǒng)命令，所以一些對應(yīng)我們常用的一些語句如數(shù)據(jù)導(dǎo)入，導(dǎo)出是命令行而不是SQL語句，都不能在存儲過程中調(diào)用，必須寫一些 SHELL或者BAT文件，進(jìn)行腳本編制來進(jìn)行。但是在我們的這種BI應(yīng)用中，ETL過程中的E過程，數(shù)據(jù)的導(dǎo)入是一件必不可少的過程，通過腳本的控制，比較麻煩和整個過程有點不是很完整。找尋是否有其他的解決方案。不過據(jù)說在新版本的DB2上是可以支持的。但是我們都是用V8.1

之前看了IBM網(wǎng)站的一篇文章，提到可以利用 UDF 來執(zhí)行純 SQL 中不可用的操作。因為UDF可以用外部語言（即，SQL 以外的其它語言，如JAVA，C）編寫，并可以通過使用 CREATE 語句向數(shù)據(jù)庫注冊，這樣我們就可以編寫一個JAVA應(yīng)用程序來調(diào)用操作系統(tǒng)命令和DB2的常用命令。當(dāng)這個外部函數(shù)注冊后，我們就可以在存儲過程中可以使用該函數(shù)，進(jìn)行數(shù)據(jù)的導(dǎo)入，導(dǎo)出。

參見資料“另一篇有關(guān)高級腳本編制的文章”和“如何注冊Java UDF ”

步驟：

1、編寫一個JAVA程序（os_cmdUDF.java）import java.io.*;import COM.ibm.db2.app.UDF;

public class os_cmdUDF extends UDF{

public static int os_cmd(String cmd){

Runtime rt = Runtime.getRuntime();

Process p=null;

int success = 0;

try {

p = rt.exec(cmd);

}

catch(IOException e){

success =-1;

}

return(success);

} }

2、運行javac UDFLogs.java編譯 javac os_cmdUDF.java

產(chǎn)生的結(jié)果是一個稱為 os_cmdUDF.class 的文件，隨后需要將該.class 文件復(fù)制到 sqllib 目錄

3、運行jar打包UDFLogs.class為os_cmdUDF.jar jar cf os_cmdUDF.jar os_cmdUDF.class

4、連上數(shù)據(jù)庫，運行安裝.jar文件到數(shù)據(jù)庫 db2 connect to testsu user db2admin db2 “CALL sqlj.install_jar('D:IBMSQLLIBjavajdkbinos_cmdUDF.jar', 'os_cmdUDF')”

之后os_cmdUDF.jar安裝到D:IBMSQLLIBjarDB2ADMIN的路徑下。

5、運行create 建立函數(shù) DROP os_cmd;CREATE os_cmd(IN VARCHAR(1000))RETURNS INTEGER EXTERNAL NAME 'os_cmdUDF:os_cmdUDF!os_cmd' LANGUAGE JAVA PARAMETER STYLE JAVA NOT DETERMINISTIC NO SQL EXTERNAL ACTION;

6、測試os_cmd函數(shù)是否可用

db2 “values os_cmdUDF('db2cmd.exe')” 返回結(jié)果，1-----------

0 條記錄已選擇。

函數(shù)可以用。

7、建立調(diào)用os_cmd函數(shù)的存儲過程。

CREATE PROCEDURE DB2ADMIN.sp_exec(--輸入?yún)?shù)

IN loadstr varchar(1024),--輸出參數(shù)

OUT o_err_msg varchar(1024))--支持語言

LANGUAGE SQL

P1: BEGIN--臨時變量,出錯變量

declare SQLCODE

integer default 0;declare stmt

varchar(1024);declare state

varchar(1024)default 'AAA';--記錄程序當(dāng)前所作工作 DECLARE status INT DEFAULT 0;

--聲明出錯處理

DECLARE EXIT HANDLER FOR SQLEXCEPTION begin

set o_err_msg='處理'||state||'出錯 '||'錯誤代碼SQLCODE:'||CHAR(SQLCODE);end;

--程序開始

SET status = os_cmd(loadstr);if(status <> 0)then

set o_err_msg = stmt;end if;

END P1

8、調(diào)用存儲過程

call sp_exec('db2cmd.exe E:work_file濟(jì)南商行測試DB2測試DBCONN_space.bat');

DBCONN_export.bat的作用（清空一個表）：

DB2 CONNECT TO testsu USER db2admin using db2admin/ db2 “l(fā)oad from 'E:work_file濟(jì)南商行測試DB2測試space.dat' OF DEL MODIFIED BY NOROWWARNINGS MESSAGES 'E:work_file濟(jì)南商行測試DB2測試space.log' REPLACE INTO jxdx_ckzhmx ” DB2 CONNECT RESET

9、驗證存儲過程調(diào)用的結(jié)果。

db2 select count(*)from jxdx_ckzhmx

注意：在測試這個功能的時候有一些細(xì)節(jié)沒有注意，導(dǎo)致函數(shù)注冊后不能調(diào)用。

1、編譯JAVA源文件的編譯器和執(zhí)行的JVM的版本必須一致的 DB2 V8.2 安裝時帶的 “1.4.1”； 而本機(jī)又另外裝了一個 “1.5.0_05” 之前沒有注意，直接使用命令javac來進(jìn)行編譯，用的是默認(rèn)1。5版本的 函數(shù)注冊后，調(diào)用出錯，提示SQL4304 reason code “1”的錯誤信息；

而給出的提示是說CLASSPATH 有問題，所以注意力一直放到這個方面找問題所在 后來才發(fā)現(xiàn)真正的問題是出現(xiàn)在版本上。

最好直接在SQLLIBjavajdkbin的目錄下編譯后再COPY。

2、設(shè)置 Java 環(huán)境 幾個關(guān)鍵的設(shè)置： 參見文檔：《解決 DB2 UDB Java 存儲過程的常見問題》

JDK_PATH： 這是一個數(shù)據(jù)庫管理器配置（DBM CFG）參數(shù)。這個參數(shù)指出用來執(zhí)行 Java 存儲過程的 JVM 或 Java Development Kit（JDK）的位置。

這是一個非常重要的參數(shù)。它的值應(yīng)該設(shè)置為包含 JVM Java 可執(zhí)行文件的 “bin” 目錄的上一級目錄的完整路徑。

在 Windows?平臺上的一個例子是 C:Program FilesIBMSQLLIBjavajdk。

UNIX? 例子是 /usr/java1.3.1。JVM 級別也非常重要，因為根據(jù)使用的 db2level 和平臺級別，DB2 UDB 只支持某些 JVM 級別。

JAVA_HEAP_SZ： 這是一個數(shù)據(jù)庫管理器配置（DBM CFG）參數(shù)。

這個參數(shù)決定為 Java 存儲過程和 UDF 服務(wù)的 Java 解釋器所使用的堆的最大大小。為了避免在 Java 存儲過程中耗盡內(nèi)存，可以增加這個值。但是，如果在環(huán)境中要調(diào)用許多存儲過程（即，每個 JVM 都會分配這么多堆空間），那么分配太多內(nèi)存也是有害的。一般規(guī)則是保持 JAVA_HEAP_SZ 為默認(rèn)設(shè)置，即 512（4K 頁）。

其他相關(guān)內(nèi)容：

一、如何安裝jar文件到當(dāng)前數(shù)據(jù)庫：

db2 “CALL sqlj.install_jar('D:IBMSQLLIBjavajdkbinos_cmdUDF.jar', 'os_cmdUDF')”

二、如何更新當(dāng)前數(shù)據(jù)庫中的jar文件： db2 “CALL sqlj.remove_jar('os_cmdUDF')”

三、如何替換當(dāng)前數(shù)據(jù)庫中刪除jar文件：

db2 “CALL sqlj.replace_jar('D:IBMSQLLIBjavajdkbinos_cmdUDF.jar', 'os_cmdUDF')”

四、如何當(dāng)前數(shù)據(jù)庫中刪除jar文件：

db2 “CALL sqlj.remove_jar('os_cmdUDF')”

五、如何刷新已經(jīng)調(diào)用的jar或class，不用重啟實例就生效： db2 “CALL SQLJ.REFRESH_CLASSES()”

通俗的講：BO完成數(shù)據(jù)查詢后，查詢出來的數(shù)據(jù)存儲在本地；Cognos完成數(shù)據(jù)查詢后，查詢出來的數(shù)據(jù)存儲在服務(wù)器上。因此，BO可以在數(shù)據(jù)刷新完成之后直接利用客戶端的切片/旋轉(zhuǎn)等功能直接進(jìn)行多維分析，而Cognos可以將查詢出來的數(shù)據(jù)以excel文件的形式保存到本地，然后使用excel的數(shù)據(jù)透視表功能進(jìn)行多維分析。

BO使用聚合表技術(shù)可以先將報表需要的常用維度的匯總數(shù)據(jù)存儲到聚合表中，BO的語義層可以識別一個查詢是否需要訪問包含明細(xì)數(shù)據(jù)的表，如果該查詢不需要明細(xì)數(shù)據(jù)，則生成SQL時直接訪問聚合表，可以提高報表生成效率。Cognos不能實現(xiàn)此功能，所以查詢部分報表的效率會有所下降，查詢時間會變長。

BO中的語義層類似于Cognos中的主題

BO在前端展現(xiàn)方面比較突出，用戶接受程度較高。是目前主流的商業(yè)智能工具之一，但因其沒有OLAP Server，導(dǎo)致數(shù)據(jù)監(jiān)控功能較弱，雖然也可以與微軟或Oracle的OLAP Server掛接，但這樣畢竟受制于人，給客戶提供的方案也不是最集成的。

[介紹]Business Objects商務(wù)智能解決方案

作者：Administrator

周四, 13 11月 2008 12:23

Business Objects商務(wù)智能平臺為客戶提供了一個可擴(kuò)展的基礎(chǔ)設(shè)施平臺，使信息得以準(zhǔn)確及時地傳遞，提高了企業(yè)的洞察力。BO商務(wù)智能平臺可以獲取來自任何地方的數(shù)據(jù)，無論在最新的ERP中，還是散布在各處角落的歷史文件中。該系列包括： 信息發(fā)現(xiàn)與發(fā)布（Information Discovery & Delivery）

? 數(shù)據(jù)可視化和報表模塊該模塊是報表與儀表盤功能的延伸，它讓普通用戶直接在報表/儀表盤上分析信息，鉆取數(shù)據(jù)。并把分析結(jié)果分發(fā)到各個地方，例如：移動設(shè)備，桌面，Email，門戶網(wǎng)站和搜索引擎中。

企業(yè)信息管理（Enterprise Information Management）

? 數(shù)據(jù)集成（DI）與數(shù)據(jù)質(zhì)量管理（DQ）模塊-管理企業(yè)所有的數(shù)據(jù)庫（包括SAP與非SAP），執(zhí)行最常見的數(shù)據(jù)庫應(yīng)用，如：ETL（抽取、轉(zhuǎn)換和上傳），數(shù)據(jù)清洗等。

? 主數(shù)據(jù)管理模塊（MDM）-使企業(yè)能夠以鞏固，協(xié)調(diào)和集中的方式管理關(guān)鍵業(yè)務(wù)數(shù)據(jù)。制定數(shù)據(jù)行業(yè)標(biāo)準(zhǔn)，幫助企業(yè)管理全球的主數(shù)據(jù)。

SAP集成解決方案(Integration for SAP Solutions)SAP基礎(chǔ)解決方案使SAP 用戶能夠提取SAP 系統(tǒng)內(nèi)包含的商務(wù)智能信息。BusinessObjects Integration for SAP Solutions 由以下主要組件組成：

? Crystal Reports 是允許依據(jù)SAP 數(shù)據(jù)創(chuàng)建報表的報表設(shè)計工具；

? BusinessObjects Enterprise 提供了用于在Web 上管理、計劃和分發(fā)報表的框架。該解決方案允許Voyager、Web Intelligence、LiveOffice 以及Xcelsius 之類的工具依據(jù)SAP 創(chuàng)建報表。

? BusinessObjects InfoView 允許在Web 上共享報表，并且SAP 身份驗證在SAP 系統(tǒng)與BusinessObjects Enterprise 之間實現(xiàn)了單一登錄。

? Rapid Marts for SAP 為用戶提供了各個SAP不同主題的數(shù)據(jù)集市ETL模板，樣本語義層與報表。以便用戶通過BO的ETL工具快速實施常用的數(shù)據(jù)集市。

BI-一般的實施步驟： 商業(yè)智能的實施

用戶不僅要選擇合適的商業(yè)智能軟件工具，還必須按照正確的實施方法才能保證商業(yè)智能項目得以成功，項目的實施步驟可分為: 2.1需求分析

在其他活動開展之前必須明確的定義企業(yè)對商業(yè)智能的期望和需求，包括需要分析的主題，各主題可能查看的維度，即需要發(fā)現(xiàn)企業(yè)哪些方面的規(guī)律。2.2 數(shù)據(jù)倉庫建模

通過對企業(yè)需求的分析，建立企業(yè)數(shù)據(jù)倉庫的邏輯模型和物理模型，并規(guī)劃系統(tǒng)的應(yīng)用架構(gòu)，將企業(yè)各類數(shù)據(jù)按照分析主題進(jìn)行組織和歸類。2.3 數(shù)據(jù)抽取

數(shù)據(jù)倉庫建立后必須將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)中抽取到數(shù)據(jù)倉庫中，首先將來自運營、財務(wù)、CRM等不同數(shù)據(jù)源的不同類型數(shù)據(jù)采用數(shù)據(jù)整合平臺進(jìn)行抽取、凈化、轉(zhuǎn)換和裝裝載，形成可以被系統(tǒng)識別的統(tǒng)一數(shù)據(jù)格式，導(dǎo)人數(shù)據(jù)倉庫存放。2.4 建立分析報表

商業(yè)智能分析報表是數(shù)據(jù)倉庫信息的展現(xiàn)，根據(jù)客戶戶的不同需求，利用多種展現(xiàn)工具，可以將存放在數(shù)據(jù)倉庫中的歷史數(shù)據(jù)進(jìn)行展現(xiàn)和挖掘，生成報表，或者生成展現(xiàn)圖表，進(jìn)行分類和聚類，進(jìn)行多維度檢索等。無論是企業(yè)的高層管理者，還是普通的業(yè)務(wù)人員，都可以根據(jù)展現(xiàn)出來的數(shù)據(jù)或者挖掘出來的關(guān)聯(lián)信息，輔助自己做出下一步的生產(chǎn)營銷決策。2.5 數(shù)據(jù)測試與系統(tǒng)改進(jìn)

要使系統(tǒng)成功交付使用，最終用戶的培訓(xùn)與軟件測試是關(guān)鍵的環(huán)節(jié)，可以找出系統(tǒng)的不足，以更好地適應(yīng)實際應(yīng)用。在用戶使用一段時間后可能會提出更多的，更具體的要求，這時需要再按照上述步驟對系統(tǒng)進(jìn)行重構(gòu)或完善。

在BI實施的各步驟中，DW是基礎(chǔ)，OLAP技術(shù)用于數(shù)據(jù)報表的生成，而DM技術(shù)用于產(chǎn)生支持決策的信息，從此也體現(xiàn)出Bl是上述多種技術(shù)的綜合應(yīng)用與體現(xiàn)。圖1充分說明了這一點。商業(yè)智能具有的功能

BI產(chǎn)品和方案必須建立在穩(wěn)定、整合的平臺上，該平平臺需要提供用戶管理、安全性控制、連接數(shù)據(jù)源以及訪問、分析和共享信息的功能。3.1 關(guān)聯(lián)分析功能

關(guān)聯(lián)分析主要用于發(fā)現(xiàn)不同事件之間的關(guān)聯(lián)性，即一一個事件發(fā)生的同時，另一個事件也經(jīng)常發(fā)生。關(guān)聯(lián)分析的重點在于快速發(fā)現(xiàn)那些有實用價值的關(guān)聯(lián)發(fā)生的事件。其主要依據(jù)是，事件發(fā)生的概率和條件概率應(yīng)該符合一定的統(tǒng)計意義。例如，一個開設(shè)儲蓄賬戶的客戶很可能同時進(jìn)行債券交易和股票交易。利用這種知識可以采取積極的營銷策略，擴(kuò)展客戶購買的產(chǎn)品范圍，吸引更多的客戶。3.2 監(jiān)視功能

預(yù)先設(shè)置條件，使符合條件的數(shù)據(jù)以一定形式顯示出來，這樣可以使問題一目了然。例如:上季度營業(yè)額少于萬元的分店顯示出來，以引起管理人員的注意。3.3 記錄選擇功能

可以從大量數(shù)據(jù)中選取需要的數(shù)據(jù)，重新構(gòu)成一個數(shù)據(jù)環(huán)境，可以使用戶關(guān)注的數(shù)據(jù)集中顯示出來。

3.4 程序調(diào)用功能

把通過按鈕查找抽取出的數(shù)據(jù)，傳給其他的軟件或用戶原有的程序，并執(zhí)行這些程序。3.5 展示功能

BI要有查找、統(tǒng)計、排序等功能，并將結(jié)果以一定的的形式展示給用戶，以支持用戶進(jìn)行多方面的數(shù)據(jù)分析和決策。3.6 數(shù)據(jù)輸出功能

打印統(tǒng)計列表和圖表畫面等，可將統(tǒng)計分析好的數(shù)據(jù)輸出給其他的應(yīng)用程序使用，或者以HTML格式保存。

數(shù)據(jù)倉庫技術(shù)是為了解決擁有大量業(yè)務(wù)數(shù)據(jù)的企業(yè)能及時有效地提取經(jīng)營管理決策所需要的信息而產(chǎn)生的，如何有效地組織大量的數(shù)據(jù)，維護(hù)數(shù)據(jù)的一致性，方便用戶的訪問，這只是數(shù)據(jù)倉庫技術(shù)的一個方面。另一個重要方面是如何為決策人員有效地使用信息提供方便，使他們能通過使用數(shù)據(jù)倉庫系統(tǒng)對企業(yè)的經(jīng)營管理做出正確的決策，從而為企業(yè)帶來經(jīng)濟(jì)效益。然而，數(shù)據(jù)倉庫中的大部分信息是不易瀏覽的。要使數(shù)據(jù)倉庫為最終用戶的決策支持提供數(shù)據(jù)，就要借助OLAP技術(shù)，通過 OLAP技術(shù)，利用數(shù)據(jù)的多維視圖，用戶能多角度、多側(cè)面、多層次地考察數(shù)據(jù)庫中的數(shù)據(jù)，從而深人地了解包含在數(shù)據(jù)中的信息及其內(nèi)涵。OLAP為數(shù)據(jù)倉庫提供了快速瀏覽、分析，若要智能化且主動地把這些數(shù)據(jù)轉(zhuǎn)變?yōu)橛杏玫男畔⒑椭R，離不開日益受到重視的數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)挖掘又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KDD)，是指從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中自動地發(fā)現(xiàn)相關(guān)模式、提取有潛在價值的信息、挖掘知識的過程。從CRM 的角度，數(shù)據(jù)挖掘應(yīng)用就是從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對決策有潛在價值的知識和規(guī)則，并能夠根據(jù)已有的信息對未來發(fā)生行為做出結(jié)果預(yù)測，為企業(yè)經(jīng)營決策、市場策劃提供依據(jù)。在CRM中應(yīng)用的數(shù)據(jù)挖掘模式主要有以下五種:關(guān)聯(lián)分析、分類、聚類分析、序列分析、孤立點分析。對于要挖掘的數(shù)據(jù)，可以是來自傳統(tǒng)的關(guān)系數(shù)據(jù)庫，也可以建立面向主題的、采用多維數(shù)據(jù)立方體組織數(shù)據(jù)的數(shù)據(jù)倉庫。

數(shù)據(jù)挖掘經(jīng)過確定業(yè)務(wù)對象、數(shù)據(jù)準(zhǔn)備、建立模型、驗證模型、數(shù)據(jù)挖掘、結(jié)果分析等步驟，不僅完成了對歷史數(shù)據(jù)的分析，以及不同客戶群體的消費數(shù)據(jù)的分析，而且將這些數(shù)據(jù)知識化，以預(yù)測企業(yè)在未來將要發(fā)生的狀況，從而提高企業(yè)的收益能力和決策能力。如，商家可以在分析市場銷售數(shù)據(jù)的基礎(chǔ)上選擇潛在的顧客，以便向他們推銷產(chǎn)品，減少了開展業(yè)務(wù)的盲目性?？梢酝ㄟ^數(shù)據(jù)挖掘技術(shù)，發(fā)現(xiàn)有欺詐傾向的用戶，避免企業(yè)受到損失。

第三篇：BI項目實施方案總結(jié)

項目實施階段幾個主要問題

1、數(shù)據(jù)準(zhǔn)備

2、缺乏關(guān)鍵用戶的參與

3、培訓(xùn)效果急于求成

4、需求擴(kuò)大化

5、乙方的承諾

6、項目文檔管理

一、數(shù)據(jù)準(zhǔn)備

項目實施的數(shù)據(jù)準(zhǔn)備階段要求客戶方提供完整的基礎(chǔ)數(shù)據(jù)以及截至某一時間點的事務(wù)性數(shù)據(jù)，即便將數(shù)據(jù)整理完畢，其準(zhǔn)確性也難以保證，導(dǎo)致不斷出現(xiàn)反復(fù)核對修改數(shù)據(jù)，這樣經(jīng)常使得原計劃的數(shù)據(jù)準(zhǔn)備工作延期完成，而有的實際的業(yè)務(wù)數(shù)據(jù)已經(jīng)發(fā)生，這給后期的業(yè)務(wù)處理帶來很大的麻煩，導(dǎo)致項目總是模擬運行，無法實現(xiàn)按計劃的順利切換。（若是數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一階段無法按期完成，如何解決？或者按期完成了但是數(shù)據(jù)準(zhǔn)確性不高，導(dǎo)致后期建模，報表等的修改，責(zé)任如何劃分？修改的人天如何計算？）

解決方案---乙方應(yīng)告知我們?nèi)绾翁峁┩暾?、?zhǔn)確的數(shù)據(jù)字典，應(yīng)如何去進(jìn)行分類、編碼、整理

二、缺乏關(guān)鍵用戶的參與

項目實施不僅是軟件供應(yīng)商的事，關(guān)鍵用戶必須全程參與項目實施，協(xié)調(diào)方案討論、需求確認(rèn)、計劃審定并與實施人員一起推動項目實施，項目經(jīng)理要定期進(jìn)行階段工作總結(jié)，分析存在的問題，總結(jié)項目實施的階段性成果，制定下個階段的實施計劃，爭取企業(yè)管理者的重視和信任

三、培訓(xùn)效果急于求成

培訓(xùn)不夠正規(guī)，培訓(xùn)環(huán)境、人員、課件簡陋，培訓(xùn)的效果大打折扣，客戶對軟件的功能、流程及設(shè)計思想認(rèn)識不足，堅持過去模式，不能接受新系統(tǒng)帶來的變化，項目經(jīng)理的方案難以實施。（培訓(xùn)一定要讓業(yè)務(wù)人員了解實施的整個過程以及各個階段的內(nèi)容和目標(biāo)，要讓業(yè)務(wù)人員明白實施能給他們帶來的價值）

四、需求擴(kuò)大化

需要一開始就明確需求，明確實施的范圍和目標(biāo)

五、銷售人員不切實際的承諾

關(guān)于實施范圍、要求能否實現(xiàn)等問題，一定要實施人員做出解答，而不能是銷售人員

六、項目文檔管理

需要有書面化的文檔來明晰各自的職責(zé)，信息互通，共同把握實施的節(jié)奏（具體包括需求范圍，人員職責(zé)等）需要標(biāo)準(zhǔn)的業(yè)務(wù)流程文檔，有助于雙方明晰業(yè)務(wù)流程，有效配合業(yè)務(wù)流程的重組和優(yōu)化 標(biāo)準(zhǔn)編碼、標(biāo)準(zhǔn)數(shù)據(jù)文檔及標(biāo)準(zhǔn)參數(shù)設(shè)置文檔等，可有效地減少重復(fù)的工作

從報表開發(fā)流程及參與者角色的角度談一下BW項目： 1.用戶需求階段：

報表應(yīng)用從需求出發(fā)，因為BW報表一般是分析型的報表，需要需求提出者對業(yè)務(wù)有相當(dāng)?shù)牧私?，有較高的綜合、歸納能力，若需求不準(zhǔn)確，需求多變，報表開發(fā)周期難免會延長。

2.需求分析、模型設(shè)計階段

此階段可以說是報表開發(fā)最重要的階段，與單純R/3報表開發(fā)相比，BW報表需要更多的設(shè)計、架構(gòu)。此階段的參與角色除了需求者以外，最重要的是架構(gòu)師、業(yè)務(wù)顧問。業(yè)務(wù)顧問要對用戶需求領(lǐng)域的業(yè)務(wù)非常清楚，架構(gòu)師除了精通BW技術(shù)外，對需求業(yè)務(wù)領(lǐng)域也必須有深入的認(rèn)識，并且架構(gòu)師、業(yè)務(wù)顧問必須溝通良好，否則會面臨較大風(fēng)險。有了基本模型，可能還需要一些程序來實現(xiàn)其中部分功能，因為涉及大量數(shù)據(jù)，程序設(shè)計人員除了實現(xiàn)功能外，尤其需要關(guān)注程序的效率。

3.數(shù)據(jù)抽取階段

模型設(shè)計完畢之后，就可以開始抽取、加載數(shù)據(jù)了。數(shù)據(jù)抽取、加載人員必須對BW數(shù)據(jù)流有清晰的理解，根據(jù)數(shù)據(jù)流程設(shè)計自動處理鏈，讓系統(tǒng)自動運行，并知道各類錯誤如何解決。

4.報表開發(fā)、權(quán)限配置階段

此對報表開發(fā)、權(quán)限配置人員的基本要求同樣是精通BW報表制作及權(quán)限配置。

5.報表測試、推廣階段

報表出來后先要經(jīng)過業(yè)務(wù)顧問、關(guān)鍵用戶仔細(xì)測試。由于BW報表一般涉及大量數(shù)據(jù)，復(fù)雜邏輯，在推廣前一定要經(jīng)過仔細(xì)測試，最好將各種業(yè)務(wù)可能都測試到，確保報表準(zhǔn)確。

第四篇：BI實驗報告

BI課程

學(xué)號：

姓名：王曉郁

專業(yè)：計算機(jī)科學(xué)與技術(shù)

日期：

實驗報告

0841902112(08中法)2012年5月20日

實驗、QL Server BI Step by Step SSIS 3 【開發(fā)語言及實現(xiàn)平臺或?qū)嶒灜h(huán)境】

sql server 2008

【實驗?zāi)康摹?/p>

（1）利用SSIS把SQL Server中的數(shù)據(jù)導(dǎo)出與導(dǎo)入。（2）熟悉和掌握實驗的各種操作。

（3）能夠在實際的事例中靈活運用學(xué)到的有關(guān)知識。

【實驗原理】 1.SQL語句查詢 2.SSIS包功能

【實驗要求】

（1）利用SSIS實現(xiàn)了數(shù)據(jù)的導(dǎo)入和導(dǎo)出,把Product表中的數(shù)據(jù)導(dǎo)出成Excel,然后對產(chǎn)品編號和名稱兩個字段經(jīng)過派生的功能進(jìn)行轉(zhuǎn)換再導(dǎo)入到數(shù)據(jù)庫中。（2）按照實驗步驟所示內(nèi)容認(rèn)真完成每一個步驟；

【實驗步驟】 1.打開Vs.net 2005,選擇商業(yè)智能項目,然后選擇模板中的Integration Service項目,輸入項目名稱:

創(chuàng)建好后,就在默認(rèn)的Package包中進(jìn)行設(shè)計。

2.向控制流中添加一個數(shù)據(jù)流組件(Data Flow Task),雙擊進(jìn)入數(shù)據(jù)流.從左邊的工具箱中選擇OLEDB數(shù)據(jù)源(OLE DB Source),可以看到,添加進(jìn)去后是紅色的.雙擊設(shè)置一下連接,如果沒有已經(jīng)創(chuàng)建的鏈接,則新建一個連接,選定后設(shè)置直接訪問Produt表。

OK,確認(rèn)了之后,發(fā)現(xiàn)紅色的錯誤提示已經(jīng)不存在了。

3.接下來直接再添加一個目標(biāo)數(shù)據(jù)源,將數(shù)據(jù)導(dǎo)出成Excel數(shù)據(jù)格式,所以選擇Excel Destination,同樣,雙擊對Excel連接管理器進(jìn)行配置,配置好文件名稱和路徑以后(此處選擇在首行顯示列名,這樣會從第二行開始才開始顯示數(shù)據(jù)),如果文件不存在,直接選擇下面的新建,創(chuàng)建新的Excel工作表。

4.然后從左邊切換到映射,對數(shù)據(jù)流中的元數(shù)據(jù)的列和Excel表中的列進(jìn)行一一映射,因為剛才是自動創(chuàng)建的Excel工作表,所以默認(rèn)是根據(jù)名稱對應(yīng)的.這樣我們就完成了對Product產(chǎn)品表的導(dǎo)出,在右邊的解決方案中,右擊執(zhí)行包,可以看到綠色執(zhí)行成功.5.通過設(shè)置sql語句導(dǎo)出所有顏色為黑色的產(chǎn)品,讓我們把OLEDB數(shù)據(jù)源的訪問模式改成sql命令,然后輸入查詢語句:

SELECT * FROM Production.Product WHERE(Color = 'Black')

6.接下來,我們再將剛才導(dǎo)出的產(chǎn)品數(shù)據(jù)導(dǎo)入Product表中.再添加Excel Source和OLE DB Destination,其實就是做和導(dǎo)出相反的過程.把 Excel Source的OLEDB連接指向Excel連接管理器。

OLE DB Destination的連接設(shè)置成OLE DB Source中的數(shù)據(jù)庫連接,同樣,設(shè)置成以[表或視圖]的方式訪問Product表,確定后發(fā)現(xiàn)有紅色錯誤。需要將rowguid字段,這兩個字段都是數(shù)據(jù)庫中自動生成的.再次確認(rèn)后會發(fā)現(xiàn)已經(jīng)沒有錯誤,只剩下了黃色的警告,現(xiàn)在暫時不理會這個警告。

7.把剛才生成的Excel文件刪除,重新配置Excel連接管理器生成新的空Excel文件(或者把生成的Excel中的數(shù)據(jù)刪除),然后再次運行包,剛才的數(shù)據(jù)導(dǎo)出仍然正常,數(shù)據(jù)導(dǎo)入顯示的是沒有導(dǎo)入任何數(shù)據(jù),這是因為在數(shù)據(jù)中剛才的數(shù)據(jù)導(dǎo)出和導(dǎo)出并沒有先后,所以他們是同步執(zhí)行的,執(zhí)行導(dǎo)入時發(fā)現(xiàn)里面的數(shù)據(jù)為空,所以沒有導(dǎo)入成功任何數(shù)據(jù).不過,嘗試著把數(shù)據(jù)導(dǎo)入的操作直接放在Excel Destination后面是失敗的,Excel Destination就是數(shù)據(jù)流目標(biāo),意味著整個流程的結(jié)束.(此時Excel Destination中只可定義一個錯誤輸出)。

8.切換到控制流,再添加一個數(shù)據(jù)流任務(wù),將第一個數(shù)據(jù)流任何指向這個(鼠標(biāo)拖拉綠色箭頭):

9.雙擊剛添加的數(shù)據(jù)導(dǎo)入(已經(jīng)編輯的數(shù)據(jù)流組件名稱),把剛才的數(shù)據(jù)流中的組件剪切過來.清空Excel數(shù)據(jù)再次運行包,有錯誤 ,看下面的錯誤信息: An OLE DB record is available.Source: “Microsoft SQL Native Client” Hresult: 0x80040E2F Description: “語句已終止。”.An OLE DB record is available.Source: “Microsoft SQL Native Client” Hresult: 0x80040E2F Description: “不能在具有唯一索引 'AK_Product_ProductNumber' 的對象 'Production.Product' 中插入重復(fù)鍵的行。”.10.暫時通過添加一次轉(zhuǎn)換,在剛才的數(shù)據(jù)流源和數(shù)據(jù)流目標(biāo)中間再添加一個派生列組件(Derived Column ,Updates column values using expressions).添加一個新列NewProductNumber,在Excel中的產(chǎn)品編號后面加1,組成新的產(chǎn)品編號,同樣派生出一個新的產(chǎn)品名稱Name,因為在數(shù)據(jù)庫中同樣也有唯一性約束.11.還要修改OLE DB目標(biāo)中的映射,將目標(biāo)列的ProductNumber對應(yīng)的輸入列ProductNumber改成剛才派生的NewProductNumber.將目標(biāo)列的Name對應(yīng)的輸入列Name改成剛才派生的NewName.清空Excel數(shù)據(jù),再次運行包,都變成了綠色,執(zhí)行全部成功

12．通過對比數(shù)據(jù)庫,確實已經(jīng)成功的添加進(jìn)了93行新的數(shù)據(jù)

【參考文獻(xiàn)】

1、SSIS_StepV2.pdf文檔

【心得體會】

1.熟悉了sql server 2008的環(huán)境和熟練了SOL語言的使用。

2.通過實驗得知，控制流中的數(shù)據(jù)導(dǎo)出和導(dǎo)入兩個組件其實是前后約束條件的,也就是必須數(shù)據(jù)導(dǎo)出必須成功了才會執(zhí)行導(dǎo)入(后面會介紹).另外,所謂的數(shù)據(jù)導(dǎo)出并不會局限于數(shù)據(jù)庫的導(dǎo)入與導(dǎo)出，數(shù)據(jù)流源和數(shù)據(jù)流目標(biāo)都可以是Excel,Flat File(txt,csv),XML,DataReader等連接.也就是說同樣可以實現(xiàn)txt導(dǎo)入Excel,或者是XML導(dǎo)入數(shù)據(jù)庫等操作。

第五篇：BI學(xué)習(xí)心得

BI學(xué)習(xí)心得 BI是什么

通過學(xué)習(xí)理解，可將BI歸結(jié)為一句話：從數(shù)據(jù)中挖取利潤。

1．1 初識BI 初識BI的概念，是從《BI相關(guān)知識介紹.ppt》開始的。通讀之后，我了解三件事： 1）、沃爾瑪將啤酒和尿布擺在一起出售，提高了啤酒的銷量； 2）、BI是Business Intelligence的縮寫，商務(wù)智能。官方定義：是一種運用了數(shù)據(jù)倉庫、在線分析和數(shù)據(jù)挖掘等技術(shù)來處理和分析數(shù)據(jù)的嶄新技術(shù)。3）、BI的分析過程圖，如下：

圖1.1—BI Analyse的過程

同時，幻燈片中還介紹了大量的中英文概念，讓我非常的混亂。為了更好的學(xué)習(xí)了解BI，首先需要克服的就是名詞解釋，其次是通過實例了解BI的應(yīng)用。1．2 常見名詞淺釋

? ETL：數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transform）、清洗（Cleansing）、裝載（Load）的過程。構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。? Data Warehouse：數(shù)據(jù)倉庫，是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合。與其他數(shù)據(jù)庫應(yīng)用不同的是，數(shù)據(jù)倉庫更像一種過程，對分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過程。而不是一種可以購買的產(chǎn)品。? Data mart：數(shù)據(jù)集市，或者叫做“小數(shù)據(jù)倉庫”。如果說數(shù)據(jù)倉庫是建立在企業(yè)級的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級數(shù)據(jù)倉庫的一個子集，他主要面向部門級業(yè)務(wù)，并且只是面向某個特定的主題。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸。? OLAP（On-Line Analytical Processing）：聯(lián)機(jī)在線分析處理，是一類軟件技術(shù)，它們使用戶（業(yè)務(wù)分析師、經(jīng)理和執(zhí)行官）能夠以交互形式快速、一致地探查數(shù)據(jù)，用戶看到的是經(jīng)過轉(zhuǎn)換后的原始數(shù)據(jù)的各種信息視圖，它們可以反映業(yè)務(wù)的真實維數(shù)。? ROLAP：基于Codd的12條準(zhǔn)則，各個軟件開發(fā)廠家見仁見智，其中一個流派，認(rèn)為可以沿用關(guān)系型數(shù)據(jù)庫來存儲多維數(shù)據(jù)，于是，基于稀疏矩陣表示方法的星型結(jié)構(gòu)（star schema）就出現(xiàn)了。后來又演化出雪花結(jié)構(gòu)。為了與多維數(shù)據(jù)庫相區(qū)別，則把基于關(guān)系型數(shù)據(jù)庫的OLAP稱為Relational OLAP，簡稱ROLAP。代表產(chǎn)品有Informix Metacube、Microsoft SQL Server OLAP Services。? MOLAP：Arbor Software嚴(yán)格遵照Codd的定義，自行建立了多維數(shù)據(jù)庫，來存放聯(lián)機(jī)分析系統(tǒng)數(shù)據(jù)，開創(chuàng)了多維數(shù)據(jù)存儲的先河，后來的很多家公司紛紛采用多維數(shù)據(jù)存儲。被人們稱為Muiltdimension OLAP，簡稱MOLAP，代表產(chǎn)品有Hyperion(原Arbor Software)Essbase、Showcase Strategy等。? Client OLAP：相對于Server OLAP而言。部分分析工具廠家建議把部分?jǐn)?shù)據(jù)下載到本地，為用戶提供本地的多維分析。代表產(chǎn)品有Brio Designer，Business Object。? DSS：決策支持系統(tǒng)（Decision Support System），相當(dāng)于基于數(shù)據(jù)倉庫的應(yīng)用。決策支持就是在收集所有有關(guān)數(shù)據(jù)和信息，經(jīng)過加工整理，來為企業(yè)決策管理層提供信息，為決策者的決策提供依據(jù)。? Ad hoc query：即席查詢，數(shù)據(jù)庫應(yīng)用最普遍的一種查詢，利用數(shù)據(jù)倉庫技術(shù)，可以讓用戶隨時可以面對數(shù)據(jù)庫，獲取所希望的數(shù)據(jù)。? EIS：主管信息系統(tǒng)（Executive Information System），指為了滿足無法專注于計算機(jī)技術(shù)的領(lǐng)導(dǎo)人員的信息查詢需求，而特意制定的以簡單的圖形界面訪問數(shù)據(jù)倉庫的一種應(yīng)用。

? BPR：業(yè)務(wù)流程重整（Business Process Reengineering），指利用數(shù)據(jù)倉庫技術(shù)，發(fā)現(xiàn)并糾正企業(yè)業(yè)務(wù)流程中的弊端的一項工作，數(shù)據(jù)倉庫的重要作用之一。? BI：商業(yè)智能（Business Intelligence），指數(shù)據(jù)倉庫相關(guān)技術(shù)與應(yīng)用的通稱。指利用各種智能技術(shù)，來提升企業(yè)的商業(yè)競爭力。? Data Mining：數(shù)據(jù)挖掘，Data Mining是一種決策支持過程，它主要基于AI、機(jī)器學(xué)習(xí)、統(tǒng)計學(xué)等技術(shù)，高度自動化地分析企業(yè)原有的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，預(yù)測客戶的行為，幫助企業(yè)的決策者調(diào)整市場策略，減少風(fēng)險，做出正確的決策 ? CRM：客戶關(guān)系管理（Customer Relationship Management），數(shù)據(jù)倉庫是以數(shù)據(jù)庫技術(shù)為基礎(chǔ)但又與傳統(tǒng)的數(shù)據(jù)庫應(yīng)用有著本質(zhì)區(qū)別的新技術(shù)，CRM就是基于數(shù)據(jù)倉庫技術(shù)的一種新應(yīng)用。但是，從商業(yè)運作的角度來講，CRM其實應(yīng)該算是一個古老的“應(yīng)用”了。比如，酒店對客人信息的管理，如果某個客人是某酒店的老主顧，那么該酒店很自然地會知道這位客人的某些習(xí)慣和喜好，如是否喜歡靠路邊，是否吸煙，是否喜歡大床，喜歡什么樣的早餐，等等。當(dāng)客人再次光臨時，不用客人自己提出來，酒店就會提供客人所喜歡的房間和服務(wù)。這就是一種CRM。? Meta Data：元數(shù)據(jù)，關(guān)于數(shù)據(jù)倉庫的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標(biāo)定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息，所有這些信息都應(yīng)當(dāng)妥善保存，并很好地管理。為數(shù)據(jù)倉庫的發(fā)展和使用提供方便。

1．3 實例應(yīng)用

BI應(yīng)用實例：

某家上市公司的銷售副總裁每周五下午要和全國各大區(qū)的銷售總監(jiān)開視頻會議，一般情況下他需要事先了解一下公司上周的銷售情況，這時他進(jìn)入公司的商業(yè)智能系統(tǒng)，查看銷售周報表，報表的橫坐標(biāo)是時間，縱坐標(biāo)有：“銷售目標(biāo)”、“實際收入”、“收入指標(biāo)達(dá)成率”。這張報表顯示了每周銷售變化情況。

副總裁為了進(jìn)一步弄清楚某一大區(qū)及大區(qū)下屬的幾大城市的銷售數(shù)據(jù)，只要使用鉆取功能，用鼠標(biāo)輕輕在屏幕上點擊幾下，該大區(qū)及大區(qū)下各城市的銷售數(shù)據(jù)便一目了然。鉆取即這種從“全國水平”（宏觀）到“地區(qū)水平”（微觀）的分析過程。然后，副總裁需要了解在某一區(qū)域的銷售數(shù)據(jù)中，哪些是直銷完成的，哪些是渠道完成的，這種從報表視圖的某一個角度到另外一個角度的視角轉(zhuǎn)換過程被稱為“切片”。鉆取和切片的操作都非常簡便，只需用鼠標(biāo)簡單地在電子報表上輕點幾下即可完成。在上面的分析過程中，涉及到了“維”這個概念，即觀察問題的角度。

這位銷售副總裁的分析維度包括：時間、大區(qū)、銷售模式，以這三個維為三個軸線來觀察數(shù)據(jù)，就形成了一個信息立方體，立方體的每一個小單元都包含了企業(yè)管理者需要追蹤的消息，包括一個特定地區(qū)、特定時間、特定銷售渠道的各項指標(biāo)的全部信息，通過對立方體的切片或切塊分割，可以從不同的視角觀察各種數(shù)據(jù)。通過“鉆取”和“切片”，這位副總裁知道了銷售情況的變化是哪個大區(qū)、哪些城市、直銷或者代理渠道出現(xiàn)了問題，這種靈活快速的查詢和分析如果通過過去的ERP報表查詢是很難完成的。

通過實例可知，使用BI系統(tǒng)，可以將不同的數(shù)據(jù)源關(guān)聯(lián)對應(yīng)在一起，對企業(yè)信息進(jìn)行管理、分析、自動生成報表，提高分析決策的效率和質(zhì)量。

1．4 BI的定義

商務(wù)智能是指將企業(yè)的各種數(shù)據(jù)及時地轉(zhuǎn)換為企業(yè)管理者感興趣的信息（或者知識），并以各種方式展現(xiàn)出來，幫助企業(yè)管理者進(jìn)行科學(xué)決策，加強(qiáng)企業(yè)的競爭優(yōu)勢。這里的數(shù)據(jù)不僅僅指企業(yè)內(nèi)部的各種數(shù)據(jù)，而且包括企業(yè)外部的數(shù)據(jù)，例如行業(yè)、市場狀況和客戶資源的數(shù)據(jù)等等。

從技術(shù)角度看，商務(wù)智能的過程是企業(yè)的決策人員以企業(yè)中的數(shù)據(jù)倉庫為基礎(chǔ)，經(jīng)由聯(lián)機(jī)分析處理工具、數(shù)據(jù)挖掘工具加上決策規(guī)劃人員的專業(yè)知識，從數(shù)據(jù)中獲得有用的信息和知識，幫助企業(yè)獲取利潤。

從應(yīng)用角度看，商務(wù)智能幫助用戶對商業(yè)數(shù)據(jù)進(jìn)行聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘，例如預(yù)測發(fā)展趨勢、輔助決策、對客戶進(jìn)行分類、挖掘潛在客戶等等。

從數(shù)據(jù)角度看，商務(wù)智能使得很多事務(wù)性的數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換之后存入數(shù)據(jù)倉庫，經(jīng)過聚集、切片或者分類等操作之后形成有用的信息、規(guī)則，來幫助企業(yè)的決策者進(jìn)行正確的決策。

綜上所述，我認(rèn)為

BI的定義：商務(wù)智能是利用各種技術(shù)，對數(shù)據(jù)進(jìn)行收集、存儲、分析并提供可視化界面顯示，從而更容易、快捷的獲得信息知識，幫助管理者做出更好的業(yè)務(wù)決策。BI技術(shù)簡析

通過閱讀資料，我認(rèn)為把商業(yè)智能看成是一種解決方案的說法比較恰當(dāng)。它是將數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘等技術(shù)組合到一起的綜合運用。BI技術(shù)的關(guān)鍵是將來自不同的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)，提取出來，進(jìn)行清理以保證數(shù)據(jù)的正確性，然后經(jīng)過抽?。‥xtraction）、轉(zhuǎn)換（Transformation）和裝載（Load），即ETL過程，合并到數(shù)據(jù)倉庫里，從而得到企業(yè)數(shù)據(jù)的一個全局視圖，在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對其進(jìn)行分析和處理（這時信息變?yōu)檩o助決策的知識），最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供支持。商業(yè)智能的這個基本過程如圖所示：

圖2—BI結(jié)構(gòu)圖

一些文章中將BI分為四個主要階段：數(shù)據(jù)預(yù)處理、建立數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)。同時認(rèn)為數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘技術(shù)是商業(yè)智能的三大技術(shù)支柱。2．1 數(shù)據(jù)預(yù)處理——ETL ETL是商業(yè)智能（BI）的重要組成部分，是英文Extract-Transform-Load的縮寫，即填充、更新數(shù)據(jù)倉庫的數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程。這是實現(xiàn)商業(yè)智能之前的數(shù)據(jù)采集步驟。這一步驟完成之后，對庫中數(shù)據(jù)的數(shù)據(jù)挖掘、分析處理才可以進(jìn)行。

對于ETL而言，“是什么”是很容易理解的，也就是將分散的、不易利用的數(shù)據(jù)進(jìn)行整理，變成規(guī)則清晰的、易于利用的、（可能同時還是）集中的數(shù)據(jù)。

2．1．1 ETL設(shè)計

ETL的設(shè)計分三部分：數(shù)據(jù)抽取、數(shù)據(jù)的清洗轉(zhuǎn)換、數(shù)據(jù)的加載。數(shù)據(jù)的抽取是從各個不同的數(shù)據(jù)源抽取到ODS(OperationalDataStore，操作型數(shù)據(jù)存儲)中——這個過程也可以做一些數(shù)據(jù)的清洗和轉(zhuǎn)換)，在抽取的過程中需要挑選不同的抽取方法，盡可能的提高ETL的運行效率。ETL三個部分中，花費時間最長的是“T”(Transform，清洗、轉(zhuǎn)換)的部分，一般情況下這部分工作量是整個ETL的2/3。數(shù)據(jù)的加載一般在數(shù)據(jù)清洗完了之后直接寫入DW(DataWarehousing，數(shù)據(jù)倉庫)中去。

2．1．2 ETL實現(xiàn)

ETL的實現(xiàn)有多種方法，常用的有三種。一種是借助ETL工具(如Oracle的OWB、SQLServer2000的DTS、SQLServer2005的SSIS服務(wù)、Informatic等)實現(xiàn)，一種是SQL方式實現(xiàn)，另外一種是ETL工具和SQL相結(jié)合。前兩種方法各有各的優(yōu)缺點，借助工具可以快速的建立起ETL工程，屏蔽了復(fù)雜的編碼任務(wù)，提高了速度，降低了難度，但是缺少靈活性。SQL的方法優(yōu)點是靈活，提高ETL運行效率，但是編碼復(fù)雜，對技術(shù)要求比較高。第三種是綜合了前面二種的優(yōu)點，會極大地提高ETL的開發(fā)速度和效率。

2．1．3 數(shù)據(jù)的抽取

這一部分需要在調(diào)研階段做大量的工作，首先要搞清楚數(shù)據(jù)是從幾個業(yè)務(wù)系統(tǒng)中來,各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫服務(wù)器運行什么DBMS,是否存在手工數(shù)據(jù)，手工數(shù)據(jù)量有多大，是否存在非結(jié)構(gòu)化的數(shù)據(jù)等等，當(dāng)收集完這些信息之后才可以進(jìn)行數(shù)據(jù)抽取的設(shè)計。

1、對于與存放DW的數(shù)據(jù)庫系統(tǒng)相同的數(shù)據(jù)源處理方法

這一類數(shù)據(jù)源在設(shè)計上比較容易。一般情況下，DBMS(SQLServer、Oracle)都會提供數(shù)據(jù)庫鏈接功能，在DW數(shù)據(jù)庫服務(wù)器和原業(yè)務(wù)系統(tǒng)之間建立直接的鏈接關(guān)系就可以寫Select語句直接訪問。

2、對于與DW數(shù)據(jù)庫系統(tǒng)不同的數(shù)據(jù)源的處理方法

對于這一類數(shù)據(jù)源，一般情況下也可以通過ODBC的方式建立數(shù)據(jù)庫鏈接——如SQLServer和Oracle之間。如果不能建立數(shù)據(jù)庫鏈接，可以有兩種方式完成，一種是通過工具將源數(shù)據(jù)導(dǎo)出成.txt或者是.xls文件，然后再將這些源系統(tǒng)文件導(dǎo)入到ODS中。另外一種方法是通過程序接口來完成。

3、對于文件類型數(shù)據(jù)源(.txt,.xls)可以培訓(xùn)業(yè)務(wù)人員利用數(shù)據(jù)庫工具將這些數(shù)據(jù)導(dǎo)入到指定的數(shù)據(jù)庫，然后從指定的數(shù)據(jù)庫中抽取?；蛘哌€可以借助工具實現(xiàn)，如SQLServer2005的SSIS服務(wù)的平面數(shù)據(jù)源和平面目標(biāo)等組件導(dǎo)入ODS中去。

4、增量更新的問題

對于數(shù)據(jù)量大的系統(tǒng)，必須考慮增量抽取。一般情況下，業(yè)務(wù)系統(tǒng)會記錄業(yè)務(wù)發(fā)生的時間，我們可以用來做增量的標(biāo)志,每次抽取之前首先判斷ODS中記錄最大的時間，然后根據(jù)這個時間去業(yè)務(wù)系統(tǒng)取大于這個時間所有的記錄。利用業(yè)務(wù)系統(tǒng)的時間戳，一般情況下，業(yè)務(wù)系統(tǒng)沒有或者部分有時間戳。

2．1．4 數(shù)據(jù)的清洗轉(zhuǎn)換

一般情況下，數(shù)據(jù)倉庫分為ODS、DW兩部分。通常的做法是從業(yè)務(wù)系統(tǒng)到ODS做清洗，將臟數(shù)據(jù)和不完整數(shù)據(jù)過濾掉，在從ODS到DW的過程中轉(zhuǎn)換，進(jìn)行一些業(yè)務(wù)規(guī)則的計算和聚合。

1、數(shù)據(jù)清洗

數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認(rèn)是否過濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。

(1)不完整的數(shù)據(jù)：這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。對于這一類數(shù)據(jù)過濾出來，按缺失的內(nèi)容分別寫入不同Excel文件向客戶提交，要求在規(guī)定的時間內(nèi)補(bǔ)全。補(bǔ)全后才寫入數(shù)據(jù)倉庫。

(2)錯誤的數(shù)據(jù)：這一類錯誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒有進(jìn)行判斷直接寫入后臺數(shù)據(jù)庫造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個回車操作、日期格式不正確、日期越界等。這一類數(shù)據(jù)也要分類，對于類似于全角字符、數(shù)據(jù)前后有不可見字符的問題，只能通過寫SQL語句的方式找出來，然后要求客戶在業(yè)務(wù)系統(tǒng)修正之后抽取。日期格式不正確的或者是日期越界的這一類錯誤會導(dǎo)致ETL運行失敗，這一類錯誤需要去業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫用SQL的方式挑出來，交給業(yè)務(wù)主管部門要求限期修正，修正之后再抽取。

(3)重復(fù)的數(shù)據(jù)：對于這一類數(shù)據(jù)——特別是維表中會出現(xiàn)這種情況——將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出來，讓客戶確認(rèn)并整理。

數(shù)據(jù)清洗是一個反復(fù)的過程，不可能在幾天內(nèi)完成，只有不斷的發(fā)現(xiàn)問題，解決問題。對于是否過濾，是否修正一般要求客戶確認(rèn)，對于過濾掉的數(shù)據(jù)，寫入Excel文件或者將過濾數(shù)據(jù)寫入數(shù)據(jù)表，在ETL開發(fā)的初期可以每天向業(yè)務(wù)單位發(fā)送過濾數(shù)據(jù)的郵件，促使他們盡快地修正錯誤,同時也可以做為將來驗證數(shù)據(jù)的依據(jù)。數(shù)據(jù)清洗需要注意的是不要將有用的數(shù)據(jù)過濾掉，對于每個過濾規(guī)則認(rèn)真進(jìn)行驗證，并要用戶確認(rèn)。

2、數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換，以及一些商務(wù)規(guī)則的計算。

(1)不一致數(shù)據(jù)轉(zhuǎn)換：這個過程是一個整合的過程，將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一，比如同一個供應(yīng)商在結(jié)算系統(tǒng)的編碼是XX0001,而在CRM中編碼是YY0001，這樣在抽取過來之后統(tǒng)一轉(zhuǎn)換成一個編碼。

(2)數(shù)據(jù)粒度的轉(zhuǎn)換：業(yè)務(wù)系統(tǒng)一般存儲非常明細(xì)的數(shù)據(jù)，而數(shù)據(jù)倉庫中數(shù)據(jù)是用來分析的，不需要非常明細(xì)的數(shù)據(jù)。一般情況下，會將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫粒度進(jìn)行聚合。

(3)商務(wù)規(guī)則的計算：不同的企業(yè)有不同的業(yè)務(wù)規(guī)則、不同的數(shù)據(jù)指標(biāo)，這些指標(biāo)有的時候不是簡單的加加減減就能完成，這個時候需要在ETL中將這些數(shù)據(jù)指標(biāo)計算好了之后存儲在數(shù)據(jù)倉庫中，以供分析使用。

2．1．5 數(shù)據(jù)的裝載

ETL的裝載部分，可查詢的資料較少。僅查閱到與抽取在一起的部分描述內(nèi)容。ETL的核心還是在于T這個過程，也就是轉(zhuǎn)換，而抽取和裝載一般可以作為轉(zhuǎn)換的輸入和輸出，或者，它們作為一個單獨的部件，其復(fù)雜度沒有轉(zhuǎn)換部件高。和OLTP系統(tǒng)中不同，那里充滿這單條記錄的insert、update和select等操作，ETL過程一般都是批量操作，例如它的裝載多采用批量裝載工具，一般都是DBMS系統(tǒng)自身附帶的工具，例如Oracle SQLLoader和DB2的autoloader等。

2．1．6 ETL日志、警告發(fā)送

1、ETL日志

ETL日志分為三類。一類是執(zhí)行過程日志，這一部分日志是在ETL執(zhí)行過程中每執(zhí)行一步的記錄，記錄每次運行每一步驟的起始時間，影響了多少行數(shù)據(jù)，流水賬形式。一類是錯誤日志，當(dāng)某個模塊出錯的時候?qū)戝e誤日志，記錄每次出錯的時間、出錯的模塊以及出錯的信息等。第三類日志是總體日志，只記錄ETL開始時間、結(jié)束時間是否成功信息。如果使用ETL工具,ETL工具會自動產(chǎn)生一些日志，這一類日志也可以作為ETL日志的一部分。記錄日志的目的是隨時可以知道ETL運行情況，如果出錯了，可以知道哪里出錯。

2、警告發(fā)送

如果ETL出錯了，不僅要形成ETL出錯日志，而且要向系統(tǒng)管理員發(fā)送警告。發(fā)送警告的方式多種，一般常用的就是給系統(tǒng)管理員發(fā)送郵件，并附上出錯的信息，方便管理員排查錯誤。

ETL是BI項目的關(guān)鍵部分，也是一個長期的過程，只有不斷的發(fā)現(xiàn)問題并解決問題，才能使ETL運行效率更高，為BI項目后期開發(fā)提供準(zhǔn)確的數(shù)據(jù)。

2．2 BI支撐技術(shù)——數(shù)據(jù)倉庫/數(shù)據(jù)集市

數(shù)據(jù)倉庫：商業(yè)智能的基礎(chǔ)。

對于一個企業(yè)來說，最關(guān)鍵也最為重要的是，如何以一種有效的方式逐步整理各個業(yè)務(wù)處理系統(tǒng)中積累下來的歷史數(shù)據(jù)，并通過靈活有效的方式為各級業(yè)務(wù)人員提供統(tǒng)一的信息視圖，從而在整個企業(yè)內(nèi)實現(xiàn)真正的信息共享。數(shù)據(jù)倉庫技術(shù)正好滿足了這一需求。數(shù)據(jù)倉庫是商業(yè)智能系統(tǒng)的基礎(chǔ)，如果沒有數(shù)據(jù)倉庫，沒有企業(yè)數(shù)據(jù)的融合，數(shù)據(jù)分析就成為了無源之水。

數(shù)據(jù)倉庫定義為：“一個面向主題的、集成的、反映歷史變化的、相對穩(wěn)定的數(shù)據(jù)集合，用于支持管理決策”。與傳統(tǒng)的事物處理系統(tǒng)有不同的是，數(shù)據(jù)倉庫是一種過程，它是對分布在組織或企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)進(jìn)行整合、加工和分析的過程。而不是一種可以購買的產(chǎn)品。

2．2．1 數(shù)據(jù)倉庫常用術(shù)語

? 數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一個支持管理決策的數(shù)據(jù)集合。數(shù)據(jù)是面向主題的、集成的、不易丟失的并且是時間變量。

數(shù)據(jù)倉庫是所有操作環(huán)境和外部數(shù)據(jù)源的快照集合。它并不需要非常精確，因為它必須在特定的時間基礎(chǔ)上從操作環(huán)境中提取出來。? 數(shù)據(jù)集市

數(shù)據(jù)倉庫只限于單個主題的區(qū)域，例如顧客、部門、地點等。數(shù)據(jù)集市在從數(shù)據(jù)倉庫獲取數(shù)據(jù)時可以依賴于數(shù)據(jù)倉庫，或者當(dāng)它們從操作系統(tǒng)中獲取數(shù)據(jù)時就不依賴于數(shù)據(jù)倉庫。? 事實

事實是數(shù)據(jù)倉庫中的信息單元，也是多維空間中的一個單元，受分析單元的限制。事實存儲于一張表中（當(dāng)使用關(guān)系數(shù)據(jù)庫時）或者是多維數(shù)據(jù)庫中的一個單元。每個事實包括關(guān)于事實（收入、價值、滿意記錄等）的基本信息，并且與維度相關(guān)。在某些情況下，當(dāng)所有的必要信息都存儲于維度中時，單純的事實出現(xiàn)就是對于數(shù)據(jù)倉庫足夠的信息。我們稍后討論有關(guān)缺無事實的情況。? 維度

維度是綁定由坐標(biāo)系定義的空間的坐標(biāo)系的軸線。數(shù)據(jù)倉庫中的坐標(biāo)系定義了數(shù)據(jù)單元，其中包含事實。

坐標(biāo)系的一個例子就是帶有 x 維度和 y 維度的 Cartesian（笛卡爾）坐標(biāo)系。在數(shù)據(jù)倉庫中，時間總是維度之一。? 數(shù)據(jù)挖掘

在數(shù)據(jù)倉庫的數(shù)據(jù)中發(fā)現(xiàn)新信息的過程被稱為數(shù)據(jù)挖掘，這些新信息不會從操作系統(tǒng)中獲得。? 分析空間

分析空間是數(shù)據(jù)倉庫中一定量的數(shù)據(jù)，用于進(jìn)行數(shù)據(jù)挖掘以發(fā)現(xiàn)新信息同時支持管理決策。? 切片

一種用來在數(shù)據(jù)倉庫中將一個維度中的分析空間限制為數(shù)據(jù)子集的技術(shù)。? 切塊

一種用來在數(shù)據(jù)倉庫中將多個維度中的分析空間限制為數(shù)據(jù)子集的技術(shù)。? 星型模式 一種使用關(guān)系數(shù)據(jù)庫實現(xiàn)多維分析空間的模式，稱為星型模式。星型模式將在本白皮書中稍后進(jìn)行進(jìn)一步討論。? 雪花模式

不管什么原因，當(dāng)星型模式的維度需要進(jìn)行規(guī)范化時，星型模式就演進(jìn)為雪花模式。

2．2．2 面向主題（Subject-oriented）

“主題”是一個較為抽象的概念，是指用戶使用數(shù)據(jù)倉庫進(jìn)行決策時所關(guān)心的重點方面。從信息管理的角度看，主題是在一個較高的管理層次上對數(shù)據(jù)進(jìn)行綜合、歸類所形成的分析對象；從數(shù)據(jù)組織的角度看，主題就是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合對分析對象作了比較完整的、一致的描述，這種描述不僅涉及到數(shù)據(jù)本身，還涉及到數(shù)據(jù)之間的關(guān)系。

“面向主題”則表明了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，是指數(shù)據(jù)倉庫內(nèi)的信息是按主題進(jìn)行組織的，而不像傳統(tǒng)事物處理系統(tǒng)那樣單一地按照業(yè)務(wù)功能及性能要求進(jìn)行組織。傳統(tǒng)的操作型系統(tǒng)是圍繞公司的應(yīng)用進(jìn)行組織。如對一個電信公司來說，應(yīng)用問題可能是營業(yè)受理、專業(yè)計費和客戶服務(wù)等，而主題范圍可能是客戶、套餐、繳費和欠費等。

2．2．3 集成（Integrated）

“集成”是指數(shù)據(jù)倉庫中的信息并不是對各個數(shù)據(jù)源簡單的選擇、抽取，而是首先進(jìn)行一系列的加工、整理和轉(zhuǎn)換等來消除源數(shù)據(jù)中的不一致；同時按照本行業(yè)的邏輯模型設(shè)計便于查詢及分析的數(shù)據(jù)倉庫。然后按照組織或企業(yè)的需求，針對不同的主題對數(shù)據(jù)進(jìn)行某種程度的綜合、概括和聚集，將源數(shù)據(jù)加載進(jìn)數(shù)據(jù)倉庫。經(jīng)過這樣的處理，數(shù)據(jù)就具有了集成性，可以用于決策分析。

2．2．4 反映歷史變化（Time-variant）

“反映歷史變化”是指數(shù)據(jù)倉庫內(nèi)的信息并不只是反映企業(yè)當(dāng)前的狀態(tài)，而是記錄了從過去某一時點到當(dāng)前各個階段的信息。通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。而信息本身相對穩(wěn)定，是指一旦某個數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后，一般很少進(jìn)行修改，更多的是對信息進(jìn)行查詢操作。

2．2．5 相對穩(wěn)定（Non-volatile）

“相對穩(wěn)定”是指數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉庫，一般情況下會被長期保留，所涉及的數(shù)據(jù)操作也主要是查詢、分析，很少會被修改或刪除，通常也只需要定期地加載和刷新。相對穩(wěn)定性保證了數(shù)據(jù)倉庫中的數(shù)據(jù)能夠真實地反映歷史變化。

數(shù)據(jù)倉庫中所存放的數(shù)據(jù)在物理上是分離的。由于這種分離，數(shù)據(jù)倉庫不需要事務(wù)處理、恢復(fù)和并發(fā)控制機(jī)制。通常它只需要兩種數(shù)據(jù)訪問：數(shù)據(jù)的初始化裝入和數(shù)據(jù)訪問。

2．2．6 了解實時數(shù)據(jù)倉庫的定義

實時數(shù)據(jù)倉庫是兩種事物的組合：實時行為和數(shù)據(jù)倉庫。實時行為是一種即時發(fā)生的行為。行為可以是任何事情，如超市中小商品的銷售行為。一旦行為完成，就有關(guān)于它的數(shù)據(jù)。數(shù)據(jù)倉庫捕獲有關(guān)商業(yè)行為的數(shù)據(jù)，而實時數(shù)據(jù)倉庫在商業(yè)行為發(fā)生時就捕獲數(shù)據(jù)。當(dāng)商業(yè)行為完成時，相關(guān)數(shù)據(jù)就已經(jīng)進(jìn)入到數(shù)據(jù)倉庫并且能立即使用。換句話說，實時數(shù)據(jù)倉庫是這樣一個系統(tǒng)，只要行為發(fā)生、數(shù)據(jù)變得可用時，就能從中獲得信息。

實時vs.近似實時之間的區(qū)別可以下面一個詞概括：反應(yīng)時間。反應(yīng)時間是指行為的完成時間和該行為的數(shù)據(jù)在數(shù)據(jù)倉庫中可利用時間之間的延遲。實時情況下，反應(yīng)時間是可以忽略不計的；在近似實時情況下，反應(yīng)時間是一段時間，比如2小時。為了使系統(tǒng)變得更精確，一些人使用了“實時”這個概念。

2．3 BI分析技術(shù)——OLAP 2．3．1 什么是OLAP

當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機(jī)事務(wù)處理OLTP（on-line transaction processing）、聯(lián)機(jī)分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。下表列出了OLTP與OLAP之間的比較。

聯(lián)機(jī)分析處理（OLAP）是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù)。它支持各級管理決策人員從不同的角度、快速靈活地對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行復(fù)雜查詢和多維分析處理，并且能以直觀易懂的形式將查詢和分析結(jié)果展現(xiàn)給決策人員。

OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進(jìn)行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求,它的技術(shù)核心是“維”這個概念。

區(qū)別于傳統(tǒng)的聯(lián)機(jī)事務(wù)處理(OLTP)系統(tǒng)，OLAP有12條準(zhǔn)則：

1、OLAP模型必須提供多維概念視圖

2、透明性準(zhǔn)則

3、存取能力推測

4、穩(wěn)定的報表能力

5、客戶/服務(wù)器體系結(jié)構(gòu)

6、維的等同性準(zhǔn)則

7、動態(tài)的稀疏矩陣處理準(zhǔn)則

8、多用戶支持能力準(zhǔn)則

9、非受限的跨維操作

10、直觀的數(shù)據(jù)操縱

11、靈活的報表生成

12、不受限的維與聚集層次 雖然隨著技術(shù)的發(fā)展，部分準(zhǔn)則有所突破，但這些準(zhǔn)則仍然是OLAP技術(shù)的基礎(chǔ)。

2．3．2 OLAP核心技術(shù)——維

“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分?！熬S”一般包含著層次關(guān)系,這種層次關(guān)系有時會相當(dāng)復(fù)雜。通過把一個實體的多項重要的屬性定義為多個維(dimension)，使用戶能對不同維上的數(shù)據(jù)進(jìn)行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。

OLAP的基本多維分析操作有鉆?。╮oll up和drill down）、切片（slice）和切塊（dice）、以及旋轉(zhuǎn)（pivot）、drill across、drill through等。? 鉆取是改變維的層次，變換分析的粒度。它包括向上鉆取（roll up）和向下鉆取（drill down）。? roll up是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)； ? 而drill down則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。? 切片和切塊是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個，則是切片；如果有三個，則是切塊。? 旋轉(zhuǎn)是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。? Drill across：（未找到相關(guān)介紹）? Drill through：（未找到相關(guān)介紹）

2．3．3 OLAP的分類

OLAP有多種實現(xiàn)方法，根據(jù)存儲數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。ROLAP 表示基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)（Relational OLAP）。以關(guān)系數(shù)據(jù)庫為核心,以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲。ROLAP將多維數(shù)據(jù)庫的多維結(jié)構(gòu)劃分為兩類表:一類是事實表,用來存儲數(shù)據(jù)和維關(guān)鍵字;另一類是維表,即對每個維至少使用一個表來存放維的層次、成員類別等維的描述信息。維表和事實表通過主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起,形成了“星型模式”。對于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個表來描述,這種星型模式的擴(kuò)展稱為“雪花模式”。ROLAP通常使用三層架構(gòu)，其數(shù)據(jù)庫層和應(yīng)用邏輯層是分離的，并且其數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫中

MOLAP 表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)（Multidimensional OLAP）。以多維數(shù)據(jù)組織方式為核心,也就是說,MOLAP使用多維數(shù)組存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成“立方塊（Cube）”的結(jié)構(gòu),在MOLAP 中對“立方塊”的“旋轉(zhuǎn)”、“切塊”、“切片”是產(chǎn)生多維數(shù)據(jù)報表的主要技術(shù)。

MOLAPS和ROLAPS相比，具有更短的處理時間，更快的響應(yīng)速度，并且對于用戶需求更為靈活。而ROLAPS在處理的數(shù)據(jù)總量和支持的客戶數(shù)方面強(qiáng)于MOLAPS。

Hybrid online analytical processing(混合聯(lián)機(jī)分析處理，HOLAP)，HOLAP表示基于混合數(shù)據(jù)組織的OLAP實現(xiàn)。如低層是關(guān)系型的，高層是多維矩陣型的。這種方式具有更好的靈活性。從字面上我們可以大致看出，HOLAP是上面兩種分類的融合，它同時利用了多維數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫。HOLAP的優(yōu)勢在于它可以在性能需求和存儲量需求間找到一個平衡點，從而充分利用系統(tǒng)潛能。

還有其他的一些實現(xiàn)OLAP的方法，如提供一個專用的SQL Server，對某些存儲模式（如星型、雪片型）提供對SQL查詢的特殊支持。

2．3．4 OLAP工具描述

OLAP 工具是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問與分析。它通過多維的方式對數(shù)據(jù)進(jìn)行分析、查詢和報表。維是人們觀察數(shù)據(jù)的特定角度。例如，一個企業(yè)在考慮產(chǎn)品的銷售情況時，通常從時間、地區(qū)和產(chǎn)品的不同角度來深入觀察產(chǎn)品的銷售情況。這里的時間、地區(qū)和產(chǎn)品就是維。而這些維的不同組合和所考察的度量指標(biāo)構(gòu)成的多維數(shù)組則是OLAP分析的基礎(chǔ)，可形式化表示為（維1，維2，??，維n，度量指標(biāo)），如（地區(qū)、時間、產(chǎn)品、銷售額）。多維分析是指對以多維形式組織起來的數(shù)據(jù)采取切片（Slice）、切塊（Dice）、鉆?。―rill-down和Roll-up）、旋轉(zhuǎn)（Pivot）等各種分析動作，以求剖析數(shù)據(jù)，使用戶能從多個角度、多側(cè)面地觀察數(shù)據(jù)庫中的數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的信息。

2．4 BI分析技術(shù)——數(shù)據(jù)挖掘

2．4．1 什么是數(shù)據(jù)挖掘

數(shù)據(jù)挖掘又稱知識發(fā)現(xiàn)（Knowledge Discovery in Database，簡稱KDD），是從大量數(shù)據(jù)中抽取有意義的、隱含的、以前未知的并有潛在使用價值的知識的過程。數(shù)據(jù)挖掘是一個多學(xué)科交叉性學(xué)科，它涉及統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)庫、模式識別、可視化以及高性能計算等多個學(xué)科。利用數(shù)據(jù)挖掘技術(shù)可以分析各種類型的數(shù)據(jù)，例如結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)、靜態(tài)的歷史數(shù)據(jù)和動態(tài)數(shù)據(jù)流數(shù)據(jù)等。

2．4．2 數(shù)據(jù)挖掘分類

數(shù)據(jù)挖掘涉及的學(xué)科領(lǐng)域和方法很多，有人工智能、數(shù)據(jù)統(tǒng)計、可視化、并行計算等。數(shù)據(jù)挖掘有多種分類方法。

? 根據(jù)挖掘任務(wù)

可分為分類模型發(fā)現(xiàn)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列分析、偏差分析、數(shù)據(jù)可視化等。(1)分類(Classification)其旨在生成一個分類函數(shù)或分類模型，該模型能把數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定類別中的某一個。既可以用此模型分析已有的數(shù)據(jù)，也可以用它來預(yù)測未來的數(shù)據(jù)。

(2)聚集(Clustering)聚集是對記錄分組，把相似的記錄在一個聚集里。聚集和分類的區(qū)別是聚集不依賴于預(yù)先定義好的類，不需要訓(xùn)練集。

(3)數(shù)據(jù)可視化(Description and Visualization)數(shù)據(jù)可視化嚴(yán)格地講不是一個單獨的數(shù)據(jù)挖掘任務(wù)，它被用來支持其他挖掘任務(wù)?？梢暬遣捎脠D形、圖表等易于理解的方式表達(dá)數(shù)據(jù)挖掘結(jié)果。

(4)關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)關(guān)聯(lián)規(guī)則是尋找數(shù)據(jù)庫中值的相關(guān)性，主要是尋找在同一個事件中出現(xiàn)的不同項的相關(guān)性，比如在一次購買活動中所買不同商品的相關(guān)性。(5)序列分析(Sequence Analysis)序列模式分析同樣也是試圖找出數(shù)據(jù)之間的聯(lián)系。但它的側(cè)重點在于分析數(shù)據(jù)之間前后(因果)關(guān)系，因此對數(shù)據(jù)往往要求引入時間屬性。序列模式分析非常適于尋找事物的發(fā)生趨勢或重復(fù)性模式。

(6)偏差分析(Deviation Analysis)是用來發(fā)現(xiàn)與正常情況不同的異常和變化，并進(jìn)一步分析這種變化是否是有意的詐騙行為，還是正常的變化。如果是異常行為，則提示預(yù)防措施;如果是正常的變化，那么就需要更新數(shù)據(jù)庫記錄。

? 根據(jù)挖掘?qū)ο?/p>

可分為關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫以及環(huán)球網(wǎng)Web。

? 根據(jù)挖掘方法

可粗略地分為：機(jī)器學(xué)習(xí)方法、統(tǒng)計方法、神經(jīng)網(wǎng)絡(luò)方法、決策樹、可視化、最近鄰技術(shù)等。在機(jī)器學(xué)習(xí)中，可細(xì)分為歸納學(xué)習(xí)方法(決策樹、規(guī)則歸納等)、基于范例學(xué)習(xí)、遺傳算法等;在統(tǒng)計方法中，可細(xì)分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數(shù)判別等)、聚類分析(系統(tǒng)聚類、動態(tài)聚類等)、探索性分析(主元分析法、相關(guān)分析法等)等。

2．4．3 數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘技術(shù)可分為描述型數(shù)據(jù)挖掘和預(yù)測型數(shù)據(jù)挖掘兩種。描述型數(shù)據(jù)挖掘包括數(shù)據(jù)總結(jié)、聚類及關(guān)聯(lián)分析等。預(yù)測型數(shù)據(jù)挖掘包括分類、回歸及時間序列分析等。

1、數(shù)據(jù)總結(jié)

繼承于數(shù)據(jù)分析中的統(tǒng)計分析。數(shù)據(jù)總結(jié)目的是對數(shù)據(jù)進(jìn)行濃縮,給出它的緊湊描述。傳統(tǒng)統(tǒng)計方法如求和值、平均值、方差值等都是有效方法。另外還可以用直方圖、餅狀圖等圖形方式表示這些值。廣義上講，多維分析也可以歸入這一類。

2、聚類分析

是把整個數(shù)據(jù)庫分成不同的群組。它的目的是使群與群之間差別很明顯，而同一個群之間的數(shù)據(jù)盡量相似。這種方法通常用于客戶細(xì)分。在開始細(xì)分之前不知道要把用戶分成幾類，因此通過聚類分析可以找出客戶特性相似的群體，如客戶消費特性相似或年齡特性相似等。在此基礎(chǔ)上可以制定一些針對不同客戶群體的營銷方案。

聚類分析是根據(jù)物以類聚的原理，將本身沒有類別的樣本聚集成不同的組，并且對每一個這樣的組進(jìn)行描述的過程。其主要依據(jù)是聚到同一個組中的樣本應(yīng)該彼此相似，而屬于不同組的樣本應(yīng)該足夠不相似。

以客戶關(guān)系管理為例，利用聚類技術(shù)，根據(jù)客戶的個人特征以及消費數(shù)據(jù)，可以將客戶群體進(jìn)行細(xì)分。例如，可以得到這樣的一個消費群體：女性占91%，全部無子女、年齡在31到40歲占70%，高消費級別的占64%，買過針織品的占91%，買過廚房用品的占89%，買過園藝用品的占79%。針對不同的客戶群，可以實施不同的營銷和服務(wù)方式，從而提高客戶的滿意度。

對于空間數(shù)據(jù)，根據(jù)地理位置以及障礙物的存在情況可以自動進(jìn)行區(qū)域劃分。例如，根據(jù)分布在不同地理位置的ATM機(jī)的情況將居民進(jìn)行區(qū)域劃分，根據(jù)這一信息，可以有效地進(jìn)行ATM機(jī)的設(shè)置規(guī)劃，避免浪費，同時也避免失掉每一個商機(jī)。

對于文本數(shù)據(jù)，利用聚類技術(shù)可以根據(jù)文檔的內(nèi)容自動劃分類別，從而便于文本的檢索。

3、關(guān)聯(lián)分析

關(guān)聯(lián)分析主要用于發(fā)現(xiàn)不同事件之間的關(guān)聯(lián)性，即一個事件發(fā)生的同時，另一個事件也經(jīng)常發(fā)生。關(guān)聯(lián)分析的重點在于快速發(fā)現(xiàn)那些有實用價值的關(guān)聯(lián)發(fā)生的事件。其主要依據(jù)是事件發(fā)生的概率和條件概率應(yīng)該符合一定的統(tǒng)計意義。

對于結(jié)構(gòu)化的數(shù)據(jù)，以客戶的購買習(xí)慣數(shù)據(jù)為例，利用關(guān)聯(lián)分析，可以發(fā)現(xiàn)客戶的關(guān)聯(lián)購買需要。例如，一個開設(shè)儲蓄賬戶的客戶很可能同時進(jìn)行債券交易和股票交易，購買紙尿褲的男顧客經(jīng)常同時購買啤酒等。利用這種知識可以采取積極的營銷策略，擴(kuò)展客戶購買的產(chǎn)品范圍，吸引更多的客戶。通過調(diào)整商品的布局便于顧客買到經(jīng)常同時購買的商品，或者通過降低一種商品的價格來促進(jìn)另一種商品的銷售等。

對于非結(jié)構(gòu)化的數(shù)據(jù)，以空間數(shù)據(jù)為例，利用關(guān)聯(lián)分析，可以發(fā)現(xiàn)地理位置的關(guān)聯(lián)性。例如，85%的靠近高速公路的大城鎮(zhèn)與水相鄰，或者發(fā)現(xiàn)通常與高爾夫球場相鄰的對象等。

4、分類分析

目的是構(gòu)造一個分類函數(shù)或分類模型(也常常稱作分類器)，該模型能把數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定類別中的某一個。要構(gòu)造分類器，需要有一個訓(xùn)練樣本數(shù)據(jù)集作為輸入。訓(xùn)練集由一組數(shù)據(jù)庫記錄或元組構(gòu)成,每個元組是一個由有關(guān)字段(又稱屬性或特征)值組成的特征向量,此外,訓(xùn)練樣本還有一個類別標(biāo)記。一個具體樣本的形式可表示為:(v1, v2,...，vn；c)，其中vi表示字段值，c表示類別。

分類分析通過分析具有類別的樣本的特點，得到?jīng)Q定樣本屬于各種類別的規(guī)則或方法。利用這些規(guī)則和方法對未知類別的樣本分類時應(yīng)該具有一定的準(zhǔn)確度。其主要方法有基于統(tǒng)計學(xué)的貝葉斯方法、神經(jīng)網(wǎng)絡(luò)方法、決策樹方法以及support vector machines等。利用分類技術(shù)，可以根據(jù)顧客的消費水平和基本特征對顧客進(jìn)行分類，找出對商家有較大利益貢獻(xiàn)的重要客戶的特征，通過對其進(jìn)行個性化服務(wù)，提高他們的忠誠度。

利用分類技術(shù)，可以將大量的半結(jié)構(gòu)化的文本數(shù)據(jù)，如WEB頁面、電子郵件等進(jìn)行分類?？梢詫D片進(jìn)行分類，例如，根據(jù)已有圖片的特點和類別，可以判定一幅圖片屬于何種類型的規(guī)則。對于空間數(shù)據(jù)，也可以進(jìn)行分類分析，例如，可以根據(jù)房屋的地理位置決定房屋的檔次。

5、回歸

是通過具有已知值的變量來預(yù)測其它變量的值。一般情況下，回歸采用的是線性回歸、非線性回歸這樣的標(biāo)準(zhǔn)統(tǒng)計技術(shù)。一般同一個模型既可用于回歸也可用于分類。常見的算法有邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)等。

6、時間序列

時間序列是用變量過去的值來預(yù)測未來的值。

時間序列分析的是隨時間而變化的事件序列，目的是預(yù)測未來發(fā)展趨勢，或者尋找相似發(fā)展模式或者是發(fā)現(xiàn)周期性發(fā)展規(guī)律。

7、序列分析

序列分析技術(shù)主要用于發(fā)現(xiàn)一定時間間隔內(nèi)接連發(fā)生的事件。這些事件構(gòu)成一個序列，發(fā)現(xiàn)的序列應(yīng)該具有普遍意義，其依據(jù)除了統(tǒng)計上的概率之外，還要加上時間的約束。

8、預(yù)測

預(yù)測與分類類似，但預(yù)測是根據(jù)樣本的已知特征估算某個連續(xù)類型的變量的取值的過程，而分類則只是用于判別樣本所屬的離散類別而已。預(yù)測常用的技術(shù)是回歸分析。

2．5 BI表示/展現(xiàn)技術(shù)——信息可視化與Web應(yīng)用

數(shù)據(jù)經(jīng)過分析后得到的即為商業(yè)智能。為了使它們直觀、簡練地呈現(xiàn)在用戶面前，需要采用一定的形式表示和發(fā)布出來，通常采用的是一些查詢和報表工具。不過，目前越來越多的分析結(jié)果是以可視化的形式表示出來。這就需要采用信息可視化技術(shù)。所謂信息可視化是指以圖形、圖像、虛擬現(xiàn)實等易為人們所辨識的方式展現(xiàn)原始數(shù)據(jù)間的復(fù)雜關(guān)系、潛在信息以及發(fā)展趨勢，以便我們能夠更好地利用所掌握的信息資源。

隨著Web應(yīng)用的普及，商業(yè)智能的解決方案能夠提供基于Web的應(yīng)用服務(wù)，這樣就擴(kuò)展了商業(yè)智能的信息發(fā)布范圍，享有訪問權(quán)限的用戶只要能夠登陸互連網(wǎng)，就可以及時訪問自己所關(guān)心的內(nèi)容。作為基于Web的商業(yè)智能解決方案，需要一些基本的組成要素，包括基于Web的商業(yè)智能服務(wù)器、會話管理服務(wù)、文件管理服務(wù)、調(diào)度、分配和通知服務(wù)、裝載平衡服務(wù)和應(yīng)用服務(wù)等。以應(yīng)用服務(wù)為例，需要為用戶的查詢、分析和報表請求提供瀏覽器插件。由于商業(yè)智能應(yīng)用涉及到對多個分散在各地的異構(gòu)數(shù)據(jù)庫的存取，因此還需要CORBA、IIOP協(xié)議和Java、XML語言的支持。