第一篇:數(shù)據(jù)挖掘在培訓(xùn)管理中的應(yīng)用論文
1、引言
對很多培養(yǎng)機(jī)構(gòu)而言,目前急需解決的問題主要有:如何根據(jù)不同成員需求設(shè)置合理的課程、如何通過教學(xué)方式提高成員學(xué)習(xí)積極性、如何提高成員培訓(xùn)效果、如何通過考核檢驗(yàn)成員學(xué)習(xí)成果等,都是培養(yǎng)機(jī)構(gòu)發(fā)展過程中必須面對的問題。隨著我國信息化進(jìn)程的加快,一些培養(yǎng)機(jī)構(gòu)也開始進(jìn)行信息化建設(shè),通過信息系統(tǒng)對培訓(xùn)相關(guān)事宜進(jìn)行管理。但目前在針對培養(yǎng)機(jī)構(gòu)的信息系統(tǒng)中,所實(shí)現(xiàn)的功能和模塊是進(jìn)行簡單的查詢、統(tǒng)計(jì)。在了解培訓(xùn)評估效果時(shí),目前的信息系統(tǒng)中,學(xué)員通過系統(tǒng)對不同課程的教師進(jìn)行打分,系統(tǒng)自對進(jìn)行匯總、統(tǒng)計(jì),得出教師評價(jià)。但這種匯總、統(tǒng)計(jì)是最簡單的,對教師評價(jià)也缺乏全面性和深度。
2、數(shù)據(jù)挖掘在培訓(xùn)管理系統(tǒng)中的應(yīng)用
大數(shù)據(jù)時(shí)代下,數(shù)據(jù)信息呈現(xiàn)出海量特點(diǎn)。如何從海量、不完全的信息中尋找到真正有用的信息,是大數(shù)據(jù)時(shí)代中重要的問題。由此便利用到數(shù)據(jù)挖掘,顧名思義,數(shù)據(jù)挖掘就是從眾多數(shù)據(jù)信息中尋找到有用、有價(jià)值的信息。大數(shù)據(jù)時(shí)代下,教育行業(yè)中,信息量也是海量的,要想提高教學(xué)質(zhì)量就需要運(yùn)用數(shù)據(jù)挖掘找尋到有用的教育信息,并運(yùn)用到實(shí)際教學(xué)中。信息系統(tǒng)通過一段實(shí)際應(yīng)用后,里面存儲了大量數(shù)據(jù),相應(yīng)的,學(xué)習(xí)管理系統(tǒng)也是如此,里面蘊(yùn)含了大量數(shù)據(jù)信息。如在線課程等功能中藏有大量師生應(yīng)用過程中的數(shù)據(jù)資料。如圖1為數(shù)據(jù)挖掘在培訓(xùn)管理中的流程圖。
2.1初步探索
培訓(xùn)管理系統(tǒng)中一般具有數(shù)據(jù)統(tǒng)計(jì)功能,將相關(guān)事宜進(jìn)行統(tǒng)計(jì)。如網(wǎng)絡(luò)課程開展過程中,數(shù)據(jù)挖掘在培訓(xùn)管理系統(tǒng)中的應(yīng)用文/張宏亮在大數(shù)據(jù)時(shí)代,如何使用現(xiàn)有的數(shù)據(jù)對學(xué)員進(jìn)行培訓(xùn)管理,從而提高培訓(xùn)效率是當(dāng)前培訓(xùn)管理中所面臨的問題。本文分析了數(shù)據(jù)挖掘在培訓(xùn)管理中的應(yīng)用主要表現(xiàn)在初步探索、數(shù)據(jù)預(yù)處理以及數(shù)據(jù)挖掘過程。其中數(shù)據(jù)預(yù)處理和數(shù)據(jù)挖掘是培訓(xùn)系統(tǒng)的核心功能。
2.2數(shù)據(jù)預(yù)期處理
數(shù)據(jù)預(yù)處理時(shí),原始數(shù)據(jù)庫會(huì)發(fā)生轉(zhuǎn)變,以適應(yīng)數(shù)據(jù)挖掘、數(shù)據(jù)挖掘算法等的要求。在處理結(jié)構(gòu)化的數(shù)據(jù)時(shí),數(shù)據(jù)預(yù)處理需要完成兩項(xiàng)任務(wù),即消除數(shù)據(jù)缺陷現(xiàn)象的存在和為數(shù)據(jù)挖掘奠定良好基礎(chǔ)。數(shù)據(jù)處理是對現(xiàn)有的數(shù)據(jù)進(jìn)行前期處理,方便后期數(shù)據(jù)挖掘。如圖2為培訓(xùn)管理系統(tǒng)中數(shù)據(jù)預(yù)處理模塊。
2.3數(shù)據(jù)挖掘
WangJ開發(fā)了一個(gè)將數(shù)據(jù)挖掘技術(shù)與基于模擬的培訓(xùn)相結(jié)合的混合框架,以提高培訓(xùn)評估的有效性。以信仰為基礎(chǔ)的學(xué)習(xí)概念,用于從知識/技能水平和信心水平的兩個(gè)維度來評估學(xué)員的學(xué)習(xí)成果。數(shù)據(jù)挖掘技術(shù)用于分析受訓(xùn)人員的個(gè)人資料和基于模擬的培訓(xùn)產(chǎn)生的數(shù)據(jù),以評估學(xué)員的表現(xiàn)和學(xué)習(xí)行為。提出的方法論以臺灣基于模擬的步兵射擊訓(xùn)練的實(shí)例為例。結(jié)果表明,提出的方法可以準(zhǔn)確地評估學(xué)員的表現(xiàn)和學(xué)習(xí)行為,并且可以發(fā)現(xiàn)潛在的知識來提高學(xué)員的學(xué)習(xí)成果。BodeaCN使用數(shù)據(jù)挖掘技術(shù)進(jìn)行了培訓(xùn)學(xué)習(xí)管理,用于分析參加在線兩年制碩士學(xué)位課程項(xiàng)目管理的學(xué)生的表現(xiàn)。系統(tǒng)數(shù)據(jù)來源是收集學(xué)生意見的調(diào)查數(shù)據(jù),學(xué)生記錄的操作數(shù)據(jù)和電子學(xué)習(xí)的平臺記錄的學(xué)生活動(dòng)數(shù)據(jù)。
3、總結(jié)
目前培訓(xùn)機(jī)構(gòu)在進(jìn)行教學(xué)評估時(shí),所選擇的指標(biāo)都是參考其他機(jī)構(gòu)的,并沒有真正從自身實(shí)際出發(fā)進(jìn)行評估,因此教學(xué)評估時(shí)存在諸多問題。其中最明顯的兩個(gè)問題是:第一教學(xué)評估方式單一化嚴(yán)重,只以數(shù)字評估為主;第二評估時(shí)容易受各種主觀因素影響。
參考文獻(xiàn)
[1]菅志剛,金旭.數(shù)據(jù)挖掘中數(shù)據(jù)預(yù)處理的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究,2004,21(07):117-118.[2]王全旺,趙兵川.數(shù)據(jù)挖掘技術(shù)在Moodle課程管理系統(tǒng)中的應(yīng)用研究[J].電化教育研究,2011(11):69-73.[3]陳怡薇.數(shù)據(jù)挖掘技術(shù):教育培訓(xùn)管理新手段[J].石油化工管理干部學(xué)院學(xué)報(bào),2014(04):49-52.[4]肖明,陳嘉勇,栗文超.數(shù)據(jù)挖掘在學(xué)習(xí)管理系統(tǒng)中應(yīng)用的研究進(jìn)展綜述[J].現(xiàn)代教育技術(shù),2010,20(09):127-133.
第二篇:數(shù)據(jù)挖掘技術(shù)在客戶關(guān)系管理中如何應(yīng)用畢業(yè)論文.
數(shù)據(jù)挖掘技術(shù)在客戶關(guān)系管理中如何應(yīng)用
根據(jù)波特的影響企業(yè)的利益相關(guān)者理論,企業(yè)有五個(gè)利益相關(guān)者,分別是客戶、競爭對手、供應(yīng)商、分銷商和政府等其他利益相關(guān)者。其中,最重要的利益相關(guān)者就是客戶。現(xiàn)代企業(yè)的競爭優(yōu)勢不僅體現(xiàn)在產(chǎn)品上,還體現(xiàn)在市場上,誰能獲得更大的市場份額,誰就能在競爭中占據(jù)優(yōu)勢和主動(dòng)。而對市場份額的爭奪實(shí)質(zhì)上是對客戶的爭奪,因此,企業(yè)必須完成從“產(chǎn)品”導(dǎo)向向“客戶”導(dǎo)向的轉(zhuǎn)變,對企業(yè)與客戶發(fā)生的各種關(guān)系進(jìn)行管理。進(jìn)行有效的客戶關(guān)系管理,就要通過有效的途徑,從儲存大量客戶信息的數(shù)據(jù)倉庫中經(jīng)過深層分析,獲得有利于商業(yè)運(yùn)作,提高企業(yè)市場競爭力的有效信息。而實(shí)現(xiàn)這些有效性的關(guān)鍵技術(shù)支持就是數(shù)據(jù)挖掘,即從海量數(shù)據(jù)中挖掘出更有價(jià)值的潛在信息。正是有了數(shù)據(jù)挖掘技術(shù)的支持,才使得客戶關(guān)系管理的理念和目標(biāo)得以實(shí)現(xiàn),滿足現(xiàn)代電子商務(wù)時(shí)代的需求和挑戰(zhàn)。
一、客戶關(guān)系管理(CRM CRM是一種旨在改善企業(yè)與客戶之間關(guān)系的新型管理方法。它是企業(yè)通過富有意義的交流和溝通,理解并影響客戶行為,最終實(shí)現(xiàn)提高客戶獲取、客戶保留、客戶忠誠和客戶創(chuàng)利的目的。它包括的主要內(nèi)容有客戶識別、客戶關(guān)系的建立、客戶保持、客戶流失控制和客戶挽留。通過客戶關(guān)系管理能夠提高企業(yè)銷售收入,改善企業(yè)的服務(wù),提高客戶滿意度,同時(shí)能提高員工的生產(chǎn)能力。
二、數(shù)據(jù)挖掘(DM 數(shù)據(jù)挖掘(Data Mining,簡稱DM,簡單的講就是從大量數(shù)據(jù)中挖掘或抽取出知識。數(shù)據(jù)挖掘概念的定義描述有若干版本。一個(gè)通用的定義是從大量的、不
完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取人們感興趣的知識,這些知識是隱諱的、事先未知的、潛在有用的信息。
常用的數(shù)據(jù)挖掘方法有:(1關(guān)聯(lián)分析。即從給定的數(shù)據(jù)集中發(fā)現(xiàn)頻繁出現(xiàn)的項(xiàng)集模式知識。例如,某商場通過關(guān)聯(lián)分析,可以找出若干個(gè)客戶在本商場購買商品時(shí),哪些商品被購置率較高,進(jìn)而可以發(fā)現(xiàn)數(shù)據(jù)庫中不同商品的聯(lián)系,進(jìn)而反映客戶的購
買習(xí)慣。(2序列模式分析。它與關(guān)聯(lián)分析相似,其目的也是為了控制挖掘出的數(shù)據(jù)間的聯(lián)系。但序列模式分析的側(cè)重點(diǎn)在于分析數(shù)據(jù)間的前后(因果關(guān)系。例如,可以通過分析客戶在購買A商品后,必定(或大部分情況下隨著購買B商品,來發(fā)現(xiàn)客戶潛在的購買模式。(3分類分析。是找出一組能夠描述數(shù)據(jù)集合典型特征的模型,以便能夠分類識別未知數(shù)據(jù)的歸屬或類別。例如,銀行可以根據(jù)客戶的債務(wù)水平、收入水平和工作情況,可對給定用戶進(jìn)行信用風(fēng)險(xiǎn)分析。(4聚類分析。是從給定的數(shù)據(jù)集中搜索數(shù)據(jù)對象之間所存在的有價(jià)值聯(lián)系。在商業(yè)上,聚類可以通過顧客數(shù)據(jù)將顧客信息分組,并對顧客的購買模式進(jìn)行描述,找出他們的特征,制定針對性的營銷方案。(5孤立點(diǎn)分析。孤立點(diǎn)是數(shù)據(jù)庫中與數(shù)據(jù)的一般模式不一致的數(shù)據(jù)對象,它可能是收集數(shù)據(jù)的設(shè)備出現(xiàn)故障、人為輸入時(shí)的輸入錯(cuò)誤等。孤立點(diǎn)分析就是專門挖掘這些特殊信息的方法。例如,銀行可以利用孤立點(diǎn)分析發(fā)現(xiàn)信用卡詐騙,電信部門可以利用孤立點(diǎn)分析發(fā)現(xiàn)電話盜用等。
三、數(shù)據(jù)挖掘在客戶關(guān)系管理中的應(yīng)用 1.進(jìn)行客戶分類
客戶分類是將大量的客戶分成不同的類別,在每一類別里的客戶具有相似的屬性,而不同類別里的客戶的屬性不同。數(shù)據(jù)挖掘可以幫助企業(yè)進(jìn)行客戶分類, 針對不同類別的客戶,提供個(gè)性化的服務(wù)來提高客戶的滿意度,提高現(xiàn)有客戶的價(jià)值。細(xì)致而可行的客戶分類對企業(yè)的經(jīng)營策略有很大益處。例如,保險(xiǎn)公司在長期的保險(xiǎn)服務(wù)中,積累了很多的數(shù)據(jù)信息,包括對客戶的服務(wù)歷史、對客戶的銷售歷史和收入,以及客戶的人口統(tǒng)計(jì)學(xué)資料和生活方式等。保險(xiǎn)公司必須將這些眾多的信息資源綜合起來,以便在數(shù)據(jù)庫里建立起一個(gè)完整的客戶背景。在客戶背景信息中,大批客戶可能在保險(xiǎn)種類、保險(xiǎn)年份和保險(xiǎn)金額上具有極高的相似性,因而形成了具有共性的客戶群體。經(jīng)過數(shù)據(jù)挖掘的聚類分析,可以發(fā)現(xiàn)他們的共性,掌握他們的保險(xiǎn)理念,提供有針對性的服務(wù),提高保險(xiǎn)公司的綜合服務(wù)水平,并可以降低業(yè)務(wù)服務(wù)成本,取得更高的收益。
2.進(jìn)行客戶識別和保留
(1在CRM中,首先應(yīng)識別潛在客戶,然后將他們轉(zhuǎn)化為客戶
這時(shí)可以采用DM中的分類方法。首先是通過對數(shù)據(jù)庫中各數(shù)據(jù)進(jìn)行分析,從而建立一個(gè)描述已知數(shù)據(jù)集類別或概念的模型,然后對每一個(gè)測試樣本,用其已知的類別與學(xué)習(xí)所獲模型的預(yù)測類別做比較,如果一個(gè)學(xué)習(xí)所獲模型的準(zhǔn)確率經(jīng)測試被認(rèn)可,就可以用這個(gè)模型對未來對象進(jìn)行分類。例如,圖書發(fā)行公司利用顧客郵件地址數(shù)據(jù)庫,給潛在顧客發(fā)送用于促銷的新書宣傳冊。該數(shù)據(jù)庫內(nèi)容有客戶情況的描述,包括年齡、收入、職業(yè)、閱讀偏好、訂購習(xí)慣、購書資金、計(jì)劃等屬性的描述,顧客被分類為“是”或“否”會(huì)成為購買書籍的顧客。當(dāng)新顧客的信息被輸入到數(shù)據(jù)庫中時(shí),就對該新顧客的購買傾向進(jìn)行分類,以決定是否給該顧客發(fā)送相應(yīng)書籍的宣傳手冊。
(2在客戶保留中的應(yīng)用
客戶識別是獲取新客戶的過程,而客戶保留則是留住老顧客、防止客戶流失 的過程。對企業(yè)來說,獲取一個(gè)新顧客的成本要比保留一個(gè)老顧客的成本高。在保留客戶的過程中,非常重要的一個(gè)工作就是要找出顧客流失的原因。例如,某??茖W(xué)校的招生人數(shù)在逐漸減少,那么就要找出減少的原因,經(jīng)過廣泛的搜集信息,發(fā)現(xiàn)原因在于本學(xué)校對技能培訓(xùn)不夠重視,學(xué)生只能學(xué)到書本知識,沒有實(shí)際的技能,在就業(yè)市場上找工作很難。針對這種情況,學(xué)校應(yīng)果斷的抽取資金,購買先進(jìn)的、有針對性的實(shí)驗(yàn)實(shí)訓(xùn)設(shè)備,同時(shí)修改教學(xué)計(jì)劃,加大實(shí)驗(yàn)實(shí)訓(xùn)課時(shí)和考核力度,培訓(xùn)相關(guān)專業(yè)的教師。
(3對客戶忠誠度進(jìn)行分析
客戶的忠誠意味著客戶不斷地購買公司的產(chǎn)品或服務(wù)。數(shù)據(jù)挖掘在客戶忠誠度分析中主要是對客戶持久性、牢固性和穩(wěn)定性進(jìn)行分析。比如大型超市通過會(huì)員的消費(fèi)信息,如最近一次消費(fèi)、消費(fèi)頻率、消費(fèi)金額三個(gè)指標(biāo)對數(shù)據(jù)進(jìn)行分析,可以預(yù)測出顧客忠誠度的變化,據(jù)此對價(jià)格、商品的種類以及銷售策略加以調(diào)整和更新,以便留住老顧客,吸引新顧客
(4對客戶盈利能力分析和預(yù)測
對于一個(gè)企業(yè)而言,如果不知道客戶的價(jià)值,就很難做出合適的市場策略。不同的客戶對于企業(yè)而言,其價(jià)值是不同的。研究表明,一個(gè)企業(yè)的80%的利潤是由只占客戶總數(shù)的20%的客戶創(chuàng)造的,這部分客戶就是有價(jià)值的優(yōu)質(zhì)客戶。為了弄清誰才是有價(jià)值的客戶,就需要按照客戶的創(chuàng)利能力來劃分客戶,進(jìn)而改進(jìn)客戶關(guān)系管理。數(shù)據(jù)挖掘技術(shù)可以用來分析和預(yù)測不同市場活動(dòng)情況下客戶盈利能力的變化,幫助企業(yè)制定合適的市場策略。商業(yè)銀行一般會(huì)利用數(shù)據(jù)挖掘技術(shù)對客戶的資料進(jìn)行分析,找出對提高企業(yè)盈利能力最重要的客戶,進(jìn)而進(jìn)行針對性的服務(wù)和營銷。
(5交叉銷售和增量銷售
交叉銷售是促使客戶購買尚未使用的產(chǎn)品和服務(wù)的營銷手段,目的是可以拓寬企業(yè)和客戶間的關(guān)系。增量銷售是促使客戶將現(xiàn)有產(chǎn)品和服務(wù)升級的銷售活動(dòng),目的在于增強(qiáng)企業(yè)和客戶的關(guān)系。這兩種銷售都是建立在雙贏的基礎(chǔ)上的,客戶因得到更多更好符合其需求的服務(wù)而獲益,公司也因銷售增長而獲益。數(shù)據(jù)挖掘可以采用關(guān)聯(lián)性模型或預(yù)測性模型來預(yù)測什么時(shí)間會(huì)發(fā)生什么事件,判斷哪些客戶對交叉銷售和增量銷售很有意向,以達(dá)到交叉銷售和增量銷售的目的。例如,保險(xiǎn)公司的交叉營銷策略:保險(xiǎn)公司對已經(jīng)購買某險(xiǎn)種的客戶推薦其它保險(xiǎn)產(chǎn)品和服務(wù)。這種策略成功的關(guān)鍵是要確保推銷的保險(xiǎn)險(xiǎn)種是用戶所感興趣的,否則會(huì)造成用戶的反感。
四、客戶關(guān)系管理應(yīng)用數(shù)據(jù)挖掘的步驟 1.需求分析
只有確定需求,才有分析和預(yù)測的目標(biāo),然后才能提取數(shù)據(jù)、選擇方法,因此,需求分析是數(shù)據(jù)挖掘的基礎(chǔ)條件。數(shù)據(jù)挖掘的實(shí)施過程也是圍繞著這個(gè)目標(biāo)進(jìn)行的。在確定用戶的需求后,應(yīng)該明確所要解決的問題屬于哪種應(yīng)用類型,是屬于關(guān)聯(lián)分析、分類、聚類及預(yù)測,還是其他應(yīng)用。應(yīng)對現(xiàn)有資源如已有的歷史數(shù)據(jù)進(jìn)行評估,確定
是否能夠通過數(shù)據(jù)挖掘技術(shù)來解決用戶的需求,然后將進(jìn)一步確定數(shù)據(jù)挖掘的目標(biāo)和制定數(shù)據(jù)挖掘的計(jì)劃。2.建立數(shù)據(jù)庫
這是數(shù)據(jù)挖掘中非常重要也非常復(fù)雜的一步。首先,要進(jìn)行數(shù)據(jù)收集和集成,其次,要對數(shù)據(jù)進(jìn)行描述和整合。數(shù)據(jù)主要有四個(gè)方面的來源:客戶信息、客戶行為、生產(chǎn)系統(tǒng)和其他相關(guān)數(shù)據(jù)。這些數(shù)據(jù)通過抽取、轉(zhuǎn)換和裝載,形成數(shù)據(jù)倉
庫,并通過 OLAP 和報(bào)表,將客戶的整體行為結(jié)果分析等數(shù)據(jù)傳遞給數(shù)據(jù)庫用戶。3.選擇合適的數(shù)據(jù)挖掘工具 如果從上一步的分析中發(fā)現(xiàn),所要解決的問題能用數(shù)據(jù)挖掘比較好地完成,那么需要做的第三步就是選擇合適的數(shù)據(jù)挖掘技術(shù)與方法。將所要解決的問題轉(zhuǎn) 化成一系列數(shù)據(jù)挖掘的任務(wù)。數(shù)據(jù)挖掘主要有五種任務(wù):分類,估值預(yù)測,關(guān)聯(lián) 規(guī)則,聚集,描述。前三種屬于直接的數(shù)據(jù)挖掘。在直接數(shù)據(jù)挖掘中,目標(biāo)是應(yīng) 用可得到的數(shù)據(jù)建立模型,用其它可得到的數(shù)據(jù)來描述感興趣的變量。后兩種屬 于間接數(shù)據(jù)挖掘。在間接數(shù)據(jù)挖掘中,沒有單一的目標(biāo)變量,目標(biāo)是在所有變量 中發(fā)現(xiàn)某些聯(lián)系。4.建立模型 建立模型是選擇合適的方法和算法對數(shù)據(jù)進(jìn)行分析,得到一個(gè)數(shù)據(jù)挖掘模型 的過程。一個(gè)好的模型沒必要與已有數(shù)據(jù)完全相符,但模型對未來的數(shù)據(jù)應(yīng)有較 好的預(yù)測。需要仔細(xì)考察不同的模型以判斷哪個(gè)模型對所需解決的問題最有用。如決策樹模型、聚類模型都是分類模型,它們將一個(gè)事件或?qū)ο髿w類?;貧w是通 過具有已知值的變量來預(yù)測其它變量的值。時(shí)間序列是用變量過去的值來預(yù)測未 來的值。這一步是數(shù)據(jù)挖掘的核心環(huán)節(jié)。建立模型是一個(gè)反復(fù)進(jìn)行的過程,它需 要不斷地改進(jìn)或更換算法以尋找對目標(biāo)分析作用最明顯的模型,最后得到一個(gè)最 合理、最適用的模型。5.模型評估 為了驗(yàn)證模型的有效性、可信性和可用性,從而選擇最優(yōu)的模型,需要對模 型進(jìn)行評估。我們可以將數(shù)據(jù)中的一部分用于模型評估,來測試模型的準(zhǔn)確性,模型是否容易被理解模型的運(yùn)行速度、輸入結(jié)果的速度、實(shí)現(xiàn)代價(jià)、復(fù)雜度等。模型的建立和檢驗(yàn)是一個(gè)反復(fù)的過程,通過這個(gè)階段階段的工作,能使數(shù)據(jù)以用 戶能理解的方式出現(xiàn),直至找到最優(yōu)或較優(yōu)的模型。6.部署和應(yīng)用 將數(shù)據(jù)挖掘的知識歸檔和報(bào)告給需要的群體,根據(jù)數(shù)據(jù)挖掘發(fā)現(xiàn)的知識采取 必要的行動(dòng),以及消除與先前知識可能存在的沖突,并將挖掘的知識應(yīng)用于應(yīng)用 系統(tǒng)。在模型的應(yīng)用過程中,也需要不斷地對模型進(jìn)行評估和檢驗(yàn),并做出適當(dāng) 的調(diào)整,以使模型適應(yīng)不斷變化的環(huán)境。參考文獻(xiàn): [1]羅納德.S.史威福特.客戶關(guān)系管理[M].楊東龍譯.北京:中國經(jīng)濟(jì) 出版社,2002 [2]馬剛:客戶關(guān)系管理[M]大連:東北財(cái)經(jīng)大學(xué)出版社,2008
第三篇:數(shù)據(jù)挖掘在房地產(chǎn)營銷中的應(yīng)用
文章摘要:信息資源的分析、整合在房地產(chǎn)行業(yè)的競爭中起著越來越重要的作用。數(shù)據(jù)挖掘作為一種系統(tǒng)地檢查和理解大量數(shù)據(jù)的工具,能有效地幫助房地產(chǎn)企業(yè)從不斷積累與更新的數(shù)據(jù)中提取有價(jià)值的信息。因此,數(shù)據(jù)挖掘被引入到房地產(chǎn)市場研究領(lǐng)域,并日益受到重視。本文從數(shù)據(jù)挖掘在房地產(chǎn)行業(yè)中的市場研究價(jià)值入手,分析了數(shù)據(jù)挖掘在房地產(chǎn)市場研究尤其是客戶信息中的應(yīng)用,并加以舉例說明。關(guān)鍵詞:數(shù)據(jù)挖掘 關(guān)聯(lián)分析 分類
一、房地產(chǎn)行業(yè)需要數(shù)據(jù)挖掘技術(shù)的支持
隨著房地產(chǎn)行業(yè)競爭的加劇,房地產(chǎn)企業(yè)要想在競爭中制勝,必然需要充分的信息支持和準(zhǔn)確的市場判斷。房地產(chǎn)行業(yè)擁有大量的數(shù)據(jù)積累,包括行業(yè)信息、經(jīng)濟(jì)環(huán)境信息、客戶信息等。這些數(shù)據(jù)是房地產(chǎn)企業(yè)市場運(yùn)作的重要參考。面對快速增長的海量數(shù)據(jù)收集,企業(yè)需要有力的數(shù)據(jù)分析工具將“豐富的數(shù)據(jù)”轉(zhuǎn)換成“有價(jià)值的知識”,否則大量的數(shù)據(jù)將成為“數(shù)據(jù)豐富,但信息貧乏”的“數(shù)據(jù)墳?zāi)埂薄?/p>
數(shù)據(jù)挖掘(Data Mining)是從大量數(shù)據(jù)中發(fā)現(xiàn)潛在關(guān)聯(lián)、模式,做出預(yù)測性分析的有效工具,它是現(xiàn)有的一些人工智能、統(tǒng)計(jì)學(xué)等技術(shù)在數(shù)據(jù)庫領(lǐng)域中的應(yīng)用。應(yīng)用數(shù)據(jù)挖掘有助于發(fā)現(xiàn)業(yè)務(wù)發(fā)展的趨勢,揭示已知的事實(shí),預(yù)測未知的結(jié)果,并幫助企業(yè)分析出解決問題所需要的關(guān)鍵因素,使企業(yè)處于更有利的競爭位置。
二、數(shù)據(jù)挖掘在房地產(chǎn)行業(yè)的應(yīng)用
1.?dāng)?shù)據(jù)挖掘的概念
對于企業(yè)的海量信息存儲,數(shù)據(jù)挖掘是一種系統(tǒng)地檢查和理解大量數(shù)據(jù)的工具。數(shù)據(jù)挖掘根據(jù)預(yù)定義的商業(yè)目標(biāo),對大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析,揭示其中隱含的商業(yè)規(guī)律,并進(jìn)一步生成相應(yīng)的分析、預(yù)測模型。
數(shù)據(jù)挖掘發(fā)現(xiàn)的是以前未知的、可理解的、可執(zhí)行的信息,所以也被稱為“知識發(fā)現(xiàn)”(Knowledge Discovery in Databases)。與統(tǒng)計(jì)分析技術(shù)相比,數(shù)據(jù)挖掘技術(shù)能很好地和數(shù)據(jù)庫技術(shù)相結(jié)合,而且數(shù)據(jù)挖掘工具用以發(fā)現(xiàn)數(shù)據(jù)中隱含的商業(yè)規(guī)律的方法已不局限于統(tǒng)計(jì)技術(shù),還包括神經(jīng)網(wǎng)絡(luò)、遺傳算法、自組織圖、神經(jīng)模糊系統(tǒng)等統(tǒng)計(jì)學(xué)科以外的方法。數(shù)據(jù)挖掘發(fā)現(xiàn)的“知識”一方面可以用于構(gòu)建預(yù)測模型,另一方面可以被用于豐富統(tǒng)計(jì)分析師的背景知識,再被統(tǒng)計(jì)分析師應(yīng)用到數(shù)據(jù)分析中。
數(shù)據(jù)挖掘任務(wù)一般可以分兩類:描述和預(yù)測。描述性挖掘任務(wù)刻劃數(shù)據(jù)庫中數(shù)據(jù)的一般特性。預(yù)測性挖掘任務(wù)在當(dāng)前數(shù)據(jù)上進(jìn)行推斷,以進(jìn)行預(yù)測。具體來講,數(shù)據(jù)挖掘主要用于解決以下幾種不同事情:
(1)關(guān)聯(lián)分析(Association analysis),是尋找屬性間的相關(guān)性。兩種常用的技術(shù)是關(guān)聯(lián)規(guī)則和序列模式。關(guān)聯(lián)規(guī)則是尋找在同一事件中出現(xiàn)的不同項(xiàng)的相關(guān)性,比如某個(gè)住宅項(xiàng)目的目標(biāo)客戶對該項(xiàng)目各方面評價(jià)之間的相關(guān)性序列分析尋找的是事件之間時(shí)間上的相關(guān)性,如對股票漲跌、房地產(chǎn)周期的分析。
(2)分類(Classification)和預(yù)測(Prediction)。分類根據(jù)某種標(biāo)準(zhǔn)將數(shù)據(jù)庫記錄分類到許多預(yù)先定義好的類別中。例如,將房地產(chǎn)企業(yè)客戶根據(jù)消費(fèi)決策模式進(jìn)行分類;同時(shí)可以建立預(yù)測模型,給定潛在客戶的收入、職業(yè)、家庭構(gòu)成等個(gè)人屬性,預(yù)測他們在購房支出;如將房地產(chǎn)企業(yè)客戶分為潛在客戶、購買者和實(shí)際客戶。分類系統(tǒng)可以產(chǎn)生這樣的規(guī)則:“如果客戶可以并且愿意承擔(dān)每月2000元的月供,計(jì)劃在1年內(nèi)在某地區(qū)買房,那么他/她是一個(gè)潛在客戶;如果客戶至少進(jìn)行過一次業(yè)務(wù)訪問,那么他/她是一個(gè)購買者。”
(3)聚類(Clustering)是把整個(gè)數(shù)據(jù)庫分成不同的群組。它的目的是要群與群之間差別明顯,而同一群之間的數(shù)據(jù)盡量相似。聚類與分類不同:分類之前已經(jīng)知道要把數(shù)據(jù)分成哪幾類,每個(gè)類的性質(zhì)是什么;聚類則恰恰相反。
(4)演變分析(evolution analysis)描述行為隨時(shí)間變化的對象的規(guī)律或趨勢,并對其建模。例如,結(jié)合人口構(gòu)成變動(dòng)趨勢、教育水平發(fā)展趨勢、社會(huì)經(jīng)濟(jì)發(fā)展趨勢進(jìn)行房地產(chǎn)消費(fèi)趨向的分析。
(5)描述和可視化(Description and Visualization),對數(shù)據(jù)進(jìn)行歸約、概化或圖形描述等。例如,通過空間聚集和近似計(jì)算對一些具體的地理位置概化聚類,形成對某區(qū)域的形象化描述。
2.?dāng)?shù)據(jù)挖掘的市場研究價(jià)值
數(shù)據(jù)挖掘技術(shù)在商業(yè)上實(shí)際應(yīng)用十分豐富。應(yīng)用數(shù)據(jù)挖掘技術(shù),可以幫助房地產(chǎn)行業(yè)找出有價(jià)值的信息,十分有助于企業(yè)發(fā)現(xiàn)商機(jī)、制定開發(fā)計(jì)劃與營銷策略。對于房地產(chǎn)市場研究,數(shù)據(jù)挖掘可以應(yīng)用于宏觀經(jīng)濟(jì)形勢研究、市場發(fā)展趨勢研究、樓盤供應(yīng)研究、競爭對手研究、客戶研究。包括但不局限于以下幾個(gè)方面:
(1)宏觀經(jīng)濟(jì)形勢研究——1)房地產(chǎn)周期時(shí)序分析中的相似搜索:可找出已有房地產(chǎn)周期數(shù)據(jù)庫中與給定查詢序列最接近的數(shù)據(jù)序列。比較識別兩個(gè)相似時(shí)間段間數(shù)據(jù)系列的主要差異,對房地產(chǎn)市場的宏觀分析很有參考價(jià)值。2)宏觀經(jīng)濟(jì)形勢研究——房地產(chǎn)周期一般性因素關(guān)聯(lián)分析:一般而言,房地產(chǎn)周期是影響不動(dòng)產(chǎn)收益的一系列因素組成的總體概念。各因素均會(huì)對總體房地產(chǎn)周期起決定作用。關(guān)聯(lián)分析方法可用于幫助發(fā)現(xiàn)各因素和房地產(chǎn)周期間的交叉與聯(lián)系。
(2)市場發(fā)展趨勢研究——1)銷售量的增長與人均可支配收入的回歸分析;2)個(gè)人購買與集團(tuán)購買房地產(chǎn)比重的擬合與分析;3)對房地產(chǎn)銷售波動(dòng)率的回歸分析。通過對市場總體狀況、市場占有率、發(fā)展水平等動(dòng)態(tài)的分析、總結(jié)和評價(jià),及時(shí)獲得準(zhǔn)確數(shù)據(jù),輔助經(jīng)營決策。
(3)樓盤供應(yīng)研究——地理發(fā)展空間的多維分析:綜合人口住房條件及分布、土地利用現(xiàn)狀及政府規(guī)劃、交通現(xiàn)狀分布信息,通過聚集及層次化描述,發(fā)掘區(qū)域內(nèi)需建立的高檔別墅、高、中、低檔公寓的數(shù)量及各自的地理位置和發(fā)展計(jì)劃。
(4)客戶研究——客戶信息的多維關(guān)聯(lián)和序列模式分析:關(guān)聯(lián)分析可在客戶信息中發(fā)現(xiàn)客戶的消費(fèi)行為模式,幫助營銷人員找出影響消費(fèi)者的機(jī)會(huì)與方式。
目前,專業(yè)市場研究公司對房地產(chǎn)行業(yè)的調(diào)研主要集中在客戶需求分析方面,并積累了一定的經(jīng)驗(yàn),因此,本文主要探討房地產(chǎn)客戶信息的數(shù)據(jù)挖掘。
3.?dāng)?shù)據(jù)挖掘在房地產(chǎn)客戶研究中有著廣泛的應(yīng)用
房地產(chǎn)行業(yè)的客戶信息有許多特點(diǎn),如下圖所示,一方面房地產(chǎn)行業(yè)面對的客戶群廣泛,而且客戶的特征描述的結(jié)構(gòu)復(fù)雜,另一方面房地產(chǎn)客戶需求的層次不一,且易受外界因素影響,具有多層次性和多變性。
對于復(fù)雜、多樣而且擅變的客戶信息,房地產(chǎn)行業(yè)客戶信息的數(shù)據(jù)挖掘有助于識別客戶購買行為,發(fā)現(xiàn)客戶購買模式和趨勢。從而,幫助房地產(chǎn)企業(yè)改進(jìn)服務(wù)質(zhì)量,取得更好的客戶關(guān)系和滿意程度,設(shè)計(jì)更好的營銷方案,減少商業(yè)成本。根據(jù)已有的數(shù)據(jù)挖掘經(jīng)驗(yàn),數(shù)據(jù)挖掘在房地產(chǎn)行業(yè)的應(yīng)用可以歸納成以下幾個(gè)方面:
4.明確商業(yè)目標(biāo)
三、如何在房地產(chǎn)行業(yè)應(yīng)用數(shù)據(jù)挖掘技術(shù)
應(yīng)用數(shù)據(jù)挖掘的首要任務(wù)就是明確需要達(dá)到什么樣的商業(yè)目標(biāo),并描述出需要解決的問題。目標(biāo)的描述應(yīng)該細(xì)化、清楚,以便于選擇合適的挖掘方法,也方便檢測數(shù)據(jù)挖掘效果,判斷建立的模型的有效性。例如,下列目標(biāo)是大而空的目標(biāo):獲得客戶行為的了解;在數(shù)據(jù)中發(fā)現(xiàn)有用的模型;發(fā)現(xiàn)一些有意思得東西。而另外一些目標(biāo)有較強(qiáng)操作性:發(fā)現(xiàn)哪些客戶不受某種促銷手段的影響;找出項(xiàng)目封頂時(shí)哪類客戶成交率增加。
5.?dāng)?shù)據(jù)準(zhǔn)備
基于數(shù)據(jù)挖掘的商業(yè)目標(biāo),提取所需要的數(shù)據(jù)。為了保證數(shù)據(jù)的質(zhì)量,除了對數(shù)據(jù)進(jìn)行必要地檢查和修正外,還需要考慮不同源之間數(shù)據(jù)的一致性問題。
如果數(shù)據(jù)集包含過多的字段,需采用一定的方法找到對模型輸出影響最大的字段,適當(dāng)?shù)臏p少輸入的字段。常用的方法包括:“描述型數(shù)據(jù)挖掘”、連結(jié)分析等。
很多變量如果組合起來(加、減、比率等)會(huì)比這些變量自身影響力更大。一些變量如果擴(kuò)大它的范圍會(huì)成為一個(gè)非常好的預(yù)測變量,比如用一段時(shí)間內(nèi)收入變化情況代替一個(gè)單一的收入數(shù)據(jù)。因此,在數(shù)據(jù)準(zhǔn)備階段需考慮是否創(chuàng)建一些新的變量。
處理缺失數(shù)據(jù)也是數(shù)據(jù)準(zhǔn)備階段的一個(gè)重要工作。有些缺值本身就非常有意義。例如:富有的顧客會(huì)忽略“收入”,或者不在乎價(jià)格的影響。
6.建立模型
建立模型是一個(gè)反復(fù)的過程。首先需要選擇適合解決當(dāng)前問題的模型。對模型的選擇過程可能會(huì)啟發(fā)對數(shù)據(jù)的理解并加以修改,甚至改變最初對問題的定義。
一旦選擇了模型的類型及應(yīng)用的方法,所選擇的模型將決定對數(shù)據(jù)的預(yù)處理工作。例如,神經(jīng)網(wǎng)絡(luò)需要做數(shù)據(jù)轉(zhuǎn)換,有些數(shù)據(jù)挖掘工具可能對輸入數(shù)據(jù)的格式有特定的限制等。
接下來是建立模型的工作。對于通過數(shù)據(jù)挖掘建立的模型需要有一定的數(shù)據(jù)來測試和驗(yàn)證。對于預(yù)測性任務(wù),需通過反復(fù)的測試、驗(yàn)證、訓(xùn)練,才能不斷提高模型的準(zhǔn)確率。
大部分?jǐn)?shù)據(jù)挖掘模型不是專為解決某個(gè)問題而特制的,模型之間也并不相互排斥。不能說一個(gè)問題一定要采用某種模型,別的就不行。例如:Cart決策樹算法、神經(jīng)網(wǎng)絡(luò)既可以用于建立分類樹,也可建立回歸樹。
7.輸出結(jié)果的評價(jià)和解釋
模型建立好之后,必須評價(jià)其結(jié)果,解釋其價(jià)值。在實(shí)際應(yīng)用中,模型的準(zhǔn)確率會(huì)隨著應(yīng)用數(shù)據(jù)的不同發(fā)生變化。但準(zhǔn)確度自身并不一定是選擇模型的正確評價(jià)方法。對輸出結(jié)果的理解需要進(jìn)一步了解錯(cuò)誤的類型和由此帶來的相關(guān)費(fèi)用的多少。如果模型每個(gè)不同的預(yù)測錯(cuò)誤所需付出的代價(jià)(費(fèi)用)也不同的話,代價(jià)最小的模型(而不一定是錯(cuò)誤率最小的模型)將是較好的選擇。
直接在現(xiàn)實(shí)世界中測試模型很重要。先在小范圍內(nèi)應(yīng)用,取得測試數(shù)據(jù),覺得滿意后再向大范圍推廣。
8.實(shí)施
模型在建立并經(jīng)驗(yàn)證之后,可以有兩種主要的使用方法。一種是提供給分析人員做參考,由他通過查看和分析這個(gè)模型輸出,并做出解釋和方案建議;另一種是把模型應(yīng)用到不同的數(shù)據(jù)集上。模型可以用來標(biāo)示一個(gè)事例的類別,給一類客戶打分等,還可以用模型在數(shù)據(jù)庫中選擇符合特定要求的記錄,以用其他工具做進(jìn)一步分析。
在應(yīng)用模型之后,還要不斷監(jiān)控模型的效果。即使模型的運(yùn)用很成功,也不能放棄監(jiān)控。因?yàn)槭挛镌诓粩喟l(fā)展變化,很可能過一段時(shí)間之后,隨著購買方式、消費(fèi)觀點(diǎn)的變化,模型就不再起作用。因此隨著模型使用時(shí)間的增加,要不斷的對模型做重新測試,有時(shí)甚至需要更新建立模型。
四、應(yīng)用舉例:基于客戶分類的關(guān)聯(lián)分析
1.商業(yè)目標(biāo)
為了更詳盡地了解客戶的消費(fèi)決策,本案例設(shè)計(jì)的問題是:“給客戶分類,并了解不同類的客戶有什么特點(diǎn)?”針對此類問題挖掘出的結(jié)果可以被用于預(yù)測性分析,例如預(yù)測客戶最傾向于做出哪種購買行為。2.?dāng)?shù)據(jù)準(zhǔn)備
本案例中采用某一時(shí)點(diǎn)上的房地產(chǎn)消費(fèi)者需求抽樣調(diào)查,取出描述消費(fèi)者個(gè)人屬性和消費(fèi)特點(diǎn)的字段。
3.建立模型
(1)對數(shù)據(jù)進(jìn)行分類
本案例中由購房者選擇最多五個(gè)自己在購房決策過程中比較看重的因素,并以總評分100分為前提給出每個(gè)因素的看重程度的評分。
案例得到的抽樣數(shù)據(jù)顯示,盡管地理位置是影響一個(gè)房地產(chǎn)項(xiàng)目定位的重要因素,人們對地理位置的看重程度仍有較大的差異。因此,以客戶對地理位置的關(guān)注程度為分類標(biāo)準(zhǔn),構(gòu)建了一個(gè)簡單的決策樹。決策樹中根據(jù)購房者對地理位置的看重程度,將購房者分為:地理位置決定型、地理位置重要參考型、地理位置參考型、地理位置不重要型、地理位置無關(guān)型五種類型。下表是應(yīng)用決策樹得到的客戶分類結(jié)果。從各客戶群評分的均值和標(biāo)準(zhǔn)差可以看出,各客戶群具有較好的組內(nèi)相似性和組間差異性,說明所構(gòu)建的決策樹的分類結(jié)果比較理想,可用于進(jìn)一步的分析。
(2)關(guān)聯(lián)分析運(yùn)用關(guān)聯(lián)分析的目的是尋找數(shù)據(jù)庫中值的相關(guān)性。本例采用基于興趣度的關(guān)聯(lián)規(guī)則挖掘算法,挖掘每類客戶不同屬性間的相關(guān)性。經(jīng)過挖掘,發(fā)現(xiàn)一些值得深入探討的關(guān)聯(lián),見下表:
注:a)支持率反映了關(guān)聯(lián)是否是普遍存在的規(guī)律。例如:支持率=5%,表示在1000個(gè)客戶中有50個(gè)客戶符合關(guān)聯(lián)規(guī)則描述。
b)可信度反映了關(guān)聯(lián)規(guī)則前提成立的條件下結(jié)果成例的概率。本例中,可信度=15%可以解釋為,對應(yīng)的客戶群中有15個(gè)人符合關(guān)聯(lián)規(guī)則的描述。
c)興趣度反映了關(guān)聯(lián)規(guī)則中元素的關(guān)系的密切程度。興趣度越大于1說明該規(guī)則中的元素的關(guān)系越密切,該規(guī)則的實(shí)際利用價(jià)值越大。
d)最小支持度閾值、最小可信度和最小興趣度的閾值可以由用戶和領(lǐng)域?qū)<以O(shè)定。此例中以支持度>3.5%,可信度>15%,興趣度>2為閾值。
上表中列出的關(guān)聯(lián)規(guī)則均有較高的支持率、可信度和興趣度。為了更加準(zhǔn)確地挖掘關(guān)聯(lián)規(guī)則。對挖掘出的關(guān)聯(lián)規(guī)則更換因果關(guān)系,形成新的關(guān)聯(lián)規(guī)則與之進(jìn)行對比。如下例:
關(guān)聯(lián)規(guī)則A1:地理位置無關(guān)型客戶=≥重視物業(yè)管理
支持率=9.7% 可信度=30.3% 興趣度=2.4與
關(guān)聯(lián)規(guī)則B1:重視物業(yè)管理 =≥地理位置無關(guān)型客戶
支持率=9.7% 可信度=76.9% 興趣度=2.4
對比兩個(gè)關(guān)聯(lián)規(guī)則將發(fā)現(xiàn),“重視物業(yè)管理的人不關(guān)心地理位置”的可能性(76.9%)高于“不關(guān)心地理位置的人重視物業(yè)管理”的可能性(30.3%)。說明關(guān)聯(lián)規(guī)則B1:重視物業(yè)管理=≥地理位置無關(guān)型客戶是一條更有意義的關(guān)聯(lián)規(guī)則。
其他被發(fā)掘的關(guān)聯(lián)也可以通過類似的比較,進(jìn)行深一步的挖掘。在此不再全部做出詳細(xì)分析。從本例挖掘出的信息可以看到,如果僅依賴于已有行業(yè)經(jīng)驗(yàn)進(jìn)行統(tǒng)計(jì)分析,往往會(huì)因?yàn)榉治鋈藛T的主觀性或者數(shù)據(jù)量太大難以實(shí)施而存在信息提取的局限性。而通過數(shù)據(jù)挖掘得到的信息,一方面能彌補(bǔ)直接應(yīng)用統(tǒng)計(jì)分析時(shí)的局限性,開拓分析人員的思維,豐富分析人員的行業(yè)背景知識;另一方面可以通過反復(fù)的驗(yàn)證、機(jī)器學(xué)習(xí)建立模型,直接成為分析人員的分析、預(yù)測的工具。
需要說明:
a)本案例的目的在于說明數(shù)據(jù)挖掘算法的應(yīng)用價(jià)值,得到的結(jié)果僅供參考,并不作為定論,而且數(shù)據(jù)挖掘的結(jié)果需要由行業(yè)內(nèi)的商業(yè)分析人員判斷:是否真的具有意義,是否有進(jìn)一步分析、探討的價(jià)值。也就是說數(shù)據(jù)挖掘作為信息提取的工具,其輸出是決策分析的參考,不能代替行業(yè)內(nèi)商業(yè)分析人員的分析工作。
b)案例中的數(shù)據(jù)挖掘作為方法應(yīng)用的探討,如要生成一個(gè)可操作的模型工具還需足夠的數(shù)據(jù)集支持進(jìn)行測試、驗(yàn)證、訓(xùn)練才能不斷提高模型的準(zhǔn)確率。
c)本案例中解決問題的方法不是唯一的,可能應(yīng)用其他的分類手段、分類標(biāo)準(zhǔn)能得到更好的結(jié)果。具體方法的應(yīng)用要取決于實(shí)施人員的建模能力、行業(yè)經(jīng)驗(yàn)。也就是說,數(shù)據(jù)挖掘?qū)θ藛T有較高的要求。數(shù)據(jù)挖掘的人員不僅要有良好的統(tǒng)計(jì)概念、建模能力,還要懂得基本的商業(yè)和行業(yè)概念。
五、房地產(chǎn)行業(yè)數(shù)據(jù)挖掘的應(yīng)用前景
隨著IT/Internet等新技術(shù)發(fā)展,市場研究在房地產(chǎn)行業(yè)的應(yīng)用已經(jīng)不再局限于數(shù)據(jù)采集和簡單的歸納、數(shù)據(jù)分析。更高的決策服務(wù)是建立在更大量的“數(shù)據(jù)——信息——知識”的基礎(chǔ)上的,因此數(shù)據(jù)挖掘、商業(yè)智能等概念與技術(shù)的引入促進(jìn)了數(shù)據(jù)挖掘在房地產(chǎn)行業(yè)的應(yīng)用。與此同時(shí),隨著房地產(chǎn)企業(yè)數(shù)據(jù)挖掘應(yīng)用的深入,數(shù)據(jù)、數(shù)據(jù)挖掘的任務(wù)和數(shù)據(jù)挖掘方法的多樣性將給數(shù)據(jù)挖掘提出了許多挑戰(zhàn)性的課題。例如:
1、應(yīng)用地理信息系統(tǒng)(GIS)尋求數(shù)據(jù)挖掘過程中的可視化方法,使得知識發(fā)現(xiàn)的過程能夠被用戶理解,也便于在知識發(fā)現(xiàn)過程中的人機(jī)交互。
2、web挖掘:由于web上存在大量信息,隨著web的發(fā)展,有關(guān)web內(nèi)容挖掘、web日志挖掘等網(wǎng)絡(luò)上的數(shù)據(jù)挖掘?qū)⒊蔀閿?shù)據(jù)挖掘中一個(gè)最為重要和繁榮的應(yīng)用領(lǐng)域。房地產(chǎn)公司的企業(yè)形象宣傳、營銷、客戶維護(hù)等工作都將離不開網(wǎng)絡(luò),也必然將需要web挖掘數(shù)據(jù)支持。
第四篇:關(guān)于數(shù)據(jù)挖掘在出口退稅中的應(yīng)用
關(guān)于數(shù)據(jù)挖掘在出口退稅中的應(yīng)用引言
出口貨物退(免)稅,簡稱 出口退稅,其基本含義是一個(gè)國家或地區(qū)對已報(bào)送離境的出口貨物,由稅務(wù)機(jī)關(guān)將其在出口前的生產(chǎn)和流通的各環(huán)節(jié)已經(jīng)繳納的國內(nèi)產(chǎn)品稅、增值稅、營業(yè)稅和特別消費(fèi)稅等間接稅稅款退還給出口企業(yè)的一項(xiàng)稅收制度。出口退稅 主要是通過退還出口貨物的國內(nèi)已納稅款來平衡國內(nèi)產(chǎn)品的稅收負(fù)擔(dān),使本國產(chǎn)品以不含稅成本進(jìn)入國際市場,與國外產(chǎn)品在同等條件下進(jìn)行競爭,從而增強(qiáng)競爭能力,擴(kuò)大出口創(chuàng)匯[1]。
我國從1985年開始,全面地實(shí)行了 出口退稅 政策,并從1995年開始全面實(shí)行電子化管理,它是全國稅務(wù)系統(tǒng)第一個(gè)全面推廣應(yīng)用的稅收管理軟件,是金關(guān)工程和金稅工程的一個(gè)子系統(tǒng),在強(qiáng)化出口退稅管理,提高出口退稅工作效率,防范和打擊騙稅上發(fā)揮了巨大的作用[2]。但是,目前的出口退稅電子化管理只完成了出口退稅業(yè)務(wù)的電子化操作,還未在決策的電子化方面取得較大進(jìn)展。經(jīng)過十多年的發(fā)展,積累了大量涉稅信息,如何將這些“歷史的、靜態(tài)的”數(shù)據(jù)變成動(dòng)態(tài)的、具有分析決策性質(zhì)的信息已成為當(dāng)前急需研究的課題[3],數(shù)據(jù)挖掘技術(shù)的出現(xiàn)使這種應(yīng)用成為現(xiàn)實(shí)。出口退稅數(shù)據(jù)挖掘的目的和基本方法
現(xiàn)行的出口退稅電子化管理主要是通過出口企業(yè)把申報(bào)退稅的信息通過出口退稅申報(bào)系統(tǒng)錄入計(jì)算機(jī)并生成申報(bào)數(shù)據(jù),然后再經(jīng)過出口退稅審核系統(tǒng)把企業(yè)申報(bào)的出口退稅憑證的電子信息與稅務(wù)機(jī)關(guān)接收到的其他部門(征稅機(jī)關(guān)、海關(guān) 和外管)傳來的憑證信息進(jìn)行比對,以達(dá)到審核出口退稅憑證的合法性和真實(shí)性的目的,進(jìn)而根據(jù)比對審核通過的數(shù)據(jù)進(jìn)行退稅??梢钥闯?,目前的出口退稅電子化管理只側(cè)重了出口退稅的 單證 信息的計(jì)算機(jī)審核,而對于挖掘?qū)徍送ㄟ^的 單證 信息和各部門傳遞來的電子信息的價(jià)值方面存在著很大的不足。隨著金稅二期網(wǎng)絡(luò)建設(shè)的推動(dòng),各省現(xiàn)已基本實(shí)現(xiàn)了出口退稅數(shù)據(jù)的省級大集中[4],這些數(shù)據(jù)都是各出口退稅部門在日常的業(yè)務(wù)審核中積累下來的數(shù)據(jù),十分寶貴,如何充分發(fā)揮其應(yīng)有的作用,已成為人們研究的熱點(diǎn)。1
數(shù)據(jù)挖掘的目的就是分析出口企業(yè)的出口退稅數(shù)據(jù),挖掘這些數(shù)據(jù)與經(jīng)濟(jì)的內(nèi)在聯(lián)系,全面掌握本地區(qū)出口退稅的產(chǎn)品結(jié)構(gòu)、出口的貿(mào)易方式、出口產(chǎn)品的地區(qū)差異等,對于調(diào)整一個(gè)地區(qū)的產(chǎn)業(yè)結(jié)構(gòu)、經(jīng)濟(jì)發(fā)展方向以及制定經(jīng)濟(jì)發(fā)展戰(zhàn)略有著重要的參考價(jià)值;對于稅務(wù)機(jī)關(guān)掌握出口企業(yè)的實(shí)際生產(chǎn)出口情況,培養(yǎng)稅源,打擊偷稅漏稅和防范出口騙稅等方面有著重要的意義。
對于出口退稅部門在日常的業(yè)務(wù)審核中積累下來的數(shù)據(jù)進(jìn)行挖掘,主要是指在了解和掌握具體納稅人生產(chǎn)經(jīng)營情況和財(cái)務(wù)數(shù)據(jù)的基礎(chǔ)上,對納稅人的稅收經(jīng)濟(jì)關(guān)系和稅收繳納狀況進(jìn)行客觀評價(jià)和說明的分析,主要是通過對歷史數(shù)據(jù)進(jìn)行縱橫比較分析和邏輯關(guān)系稽核來進(jìn)行挖掘,以指導(dǎo)稅收管理工作。
1)橫向比較分析
橫向比較分析是指同一指標(biāo)在不同個(gè)體、單位、地區(qū)之間的比較分析。橫向比較分析最典型的分析例子就是同業(yè)稅負(fù)分析。受市場均衡作用的影響,同一產(chǎn)品在生產(chǎn)技術(shù)工藝、原材料能源消耗方面有相近之處,適用稅收政策有統(tǒng)一的要求,因此反映生產(chǎn)成本費(fèi)用方面的指標(biāo)有相同的規(guī)律特征。總結(jié)這種規(guī)律特征,以此檢驗(yàn)個(gè)體數(shù)據(jù)指標(biāo)的表現(xiàn),找出差異較大的個(gè)體予以預(yù)警。
2)縱向比較分析
縱向比較分析或歷史數(shù)據(jù)分析是指同一個(gè)體的同一指標(biāo)在不同歷史時(shí)期的數(shù)據(jù)比較分析。常用的分析方法有趨勢分析和變動(dòng)率分析。分析的理論依據(jù)是大多情況下企業(yè)的生產(chǎn)經(jīng)營是處于一種相對平穩(wěn)的狀態(tài),不會(huì)出現(xiàn)突然的波動(dòng)或大起大落現(xiàn)象。因此,如果企業(yè)生產(chǎn)能力沒有作大的調(diào)整,一般情況下企業(yè)各個(gè)時(shí)期的數(shù)據(jù)指標(biāo)彼此接近,不會(huì)出現(xiàn)大的差異。如果出現(xiàn)較大差異,應(yīng)引起主管部門的注意,及時(shí)進(jìn)行相關(guān)的納稅評估。
3)數(shù)據(jù)邏輯關(guān)系稽核
受會(huì)計(jì)核算原理的約束和稅收制度規(guī)定的制約,反映納稅人生產(chǎn)經(jīng)營情況和財(cái)務(wù)狀況的眾多數(shù)據(jù)指標(biāo)之間存在非常嚴(yán)謹(jǐn)?shù)摹⑾嗷ヒ来娴倪壿嬯P(guān)系。這種邏輯關(guān)系決定了企業(yè)的納稅申報(bào)數(shù)據(jù)必須滿足企業(yè)財(cái)務(wù)數(shù)據(jù)相關(guān)性的特定要求,檢查這些數(shù)據(jù)邏輯關(guān)系是否吻合,可以鑒別企業(yè)申報(bào)數(shù)據(jù)的真實(shí)性和合理性,從而發(fā)現(xiàn)稅收問題,堵塞征管漏洞。出口退稅數(shù)據(jù)挖掘的功能
數(shù)據(jù)挖掘通過預(yù)測未來趨勢及行為,做出前攝的、基于知識的決策。數(shù)據(jù)挖掘的目標(biāo)是從數(shù)據(jù)庫中發(fā)現(xiàn)隱含的、有意義的知識,主要有以下五類功能:
1)趨勢預(yù)測
數(shù)據(jù)挖掘自動(dòng)在大型數(shù)據(jù)庫中尋找預(yù)測性信息,以往需要進(jìn)行大量手工分析的問題如今可以迅速直接由數(shù)據(jù)本身得出結(jié)論。出口退稅數(shù)據(jù)挖掘的預(yù)測趨勢是對納稅人特定稅收指標(biāo)、經(jīng)濟(jì)指標(biāo)或稅收經(jīng)濟(jì)關(guān)系指標(biāo)一段時(shí)期走勢和趨向的分析和推斷,了解和掌握稅收經(jīng)濟(jì)的發(fā)展趨勢,有利于判斷未來出口退稅形勢的好壞,使出口退稅做到心中有數(shù)。
趨勢預(yù)測的兩個(gè)基本要求是說明特定指標(biāo)的發(fā)展方向和變化幅度,基礎(chǔ)分析技術(shù)是時(shí)間序列分析技術(shù),常用說明指標(biāo)有變動(dòng)率和平均變化速度等。
2)關(guān)聯(lián)分析
數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的可被發(fā)現(xiàn)的知識。若兩個(gè)或多個(gè)變量的取值之間存在某種規(guī)律性,就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)函數(shù),即使知道也是不確定的,因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。
在出口退稅評估工作中,可以利用企業(yè)財(cái)務(wù)報(bào)表、納稅申報(bào)表和出口退稅匯總表等各項(xiàng)數(shù)據(jù)指標(biāo)之間的相互邏輯關(guān)系進(jìn)行核算檢查,對于不滿足應(yīng)有邏輯計(jì)算關(guān)系的內(nèi)容,即認(rèn)為破壞了會(huì)計(jì)核算或稅款計(jì)征關(guān)系,均應(yīng)視為異常做進(jìn)一步的深入分析。由于企業(yè)財(cái)務(wù)指標(biāo)和出口退稅申報(bào)數(shù)據(jù)有上百條之多,所以與此相關(guān)的邏輯計(jì)算關(guān)系也會(huì)在此基礎(chǔ)上更為豐富和復(fù)雜,只有通過關(guān)聯(lián)分析,才有可能在出口退稅申報(bào)環(huán)節(jié)實(shí)現(xiàn)實(shí)時(shí)的出口退稅評估工作。
3)聚類分析
聚類分析是數(shù)理統(tǒng)計(jì)的一個(gè)分支,是運(yùn)用事物本身所具有的某種數(shù)據(jù)特征,遵循“物以類聚”規(guī)律進(jìn)行數(shù)據(jù)處理,為事物的分類管理提供數(shù)據(jù)支持的一種分析方法。借用這種方法開展稅收分析,可將具有某種稅收共同特征的事物聚集在一起,使我們更清楚地認(rèn)識稅收征管工作的分類特征。
聚類分析的基本原理是根據(jù)數(shù)據(jù)指標(biāo)差異的絕對距離進(jìn)行分類,結(jié)合矩陣分析技術(shù),可以進(jìn)行多指標(biāo)的綜合特征分析,為復(fù)雜事物的分類提供了一種可行的分析方法。聚類分析的關(guān)鍵是找到一組關(guān)系密切的相關(guān)指標(biāo),如退稅增長、稅源增長、退稅變化彈性和出口影響等,均可以利用這一分析技術(shù)進(jìn)行綜合分析和技術(shù)處理。
4)差異分析
數(shù)據(jù)庫中的數(shù)據(jù)常有一些異常記錄,從數(shù)據(jù)庫中檢測這些差異很有意義。差異包括很多潛在的知識,如分類中的反常實(shí)例、不滿足規(guī)則的特例、觀測結(jié)果與模型預(yù)測值的偏差、量值隨時(shí)間的變化等。
差異分析的基本方法是測算不同樣本同一指標(biāo)的差異程度。差異分析的關(guān)鍵是建立評價(jià)差異的標(biāo)準(zhǔn),有了標(biāo)準(zhǔn)才能說明差異的影響程度。表示差異程度可以用絕對值,也可以建立參照系用相對值。應(yīng)用差異分析開展微觀稅收分析的典型分析案例就是同業(yè)稅負(fù)分析模型。應(yīng)用同業(yè)稅負(fù)分析模型可以測算出各項(xiàng)相關(guān)指標(biāo)的客觀水平和樣本離散狀況,以此為標(biāo)準(zhǔn)比對個(gè)別檢驗(yàn)樣本的具體數(shù)值,超出差異允許界限的即為預(yù)警對象。
5)波動(dòng)分析
波動(dòng)分析是描述稅收事物運(yùn)行變化平穩(wěn)性的分析。稅收事物的運(yùn)行受經(jīng)濟(jì)變化影響、稅收制度規(guī)定的約束和現(xiàn)有征管環(huán)境制約有其自身客觀的規(guī)律。在經(jīng)濟(jì)
運(yùn)行相對平穩(wěn)、稅制不變的條件下,稅收事物運(yùn)行平穩(wěn)與否,直接反映稅收征管情況的影響作用。因此,開展波動(dòng)分析,一定程度上可以了解和說明退稅管理的表現(xiàn),反映退稅管理是否能按稅源的發(fā)展變化規(guī)律同步開展,監(jiān)督退稅管理的執(zhí)行情況。出口退稅數(shù)據(jù)挖掘的實(shí)現(xiàn)
出口退稅數(shù)據(jù)挖掘應(yīng)用系統(tǒng)由三部分組成:第一部分是由用戶數(shù)據(jù)源到中央數(shù)據(jù)庫的ETL過程;第二部分是根據(jù)出口退稅業(yè)務(wù)模型建立業(yè)務(wù)智能分析模型;第三部分是面向稅收管理人員進(jìn)行數(shù)據(jù)的發(fā)布和多維分析工作。基本結(jié)構(gòu)如圖1所示。
數(shù)據(jù)的ETL(Extract-Transform-Load,數(shù)據(jù)抽取、轉(zhuǎn)換、裝載)過程采用微軟的SSIS(SQL Server Integration Services)來完成數(shù)據(jù)預(yù)處理階段對于原始數(shù)據(jù)的轉(zhuǎn)換、清洗加載過程;中央數(shù)據(jù)庫采用微軟的SQL Server 2005,SQL Server 2005除了提供一個(gè)安全、可靠和高效的數(shù)據(jù)管理平臺之外,它還是一個(gè)企業(yè)級數(shù)據(jù)整合平臺,通過SSIS提供了構(gòu)建企業(yè)級ETL應(yīng)用程序所需的功能和性能,是一個(gè)集成的商業(yè)智能平臺,通過Analysis Services提供了統(tǒng)一和集成的商業(yè)數(shù)據(jù)視圖,可被用做所有傳統(tǒng)報(bào)表、OLAP分析、關(guān)鍵績效指標(biāo)(KPI)記分卡和數(shù)據(jù)挖掘的基礎(chǔ)。
SQL Server 2005分析服務(wù)提供了數(shù)據(jù)挖掘服務(wù),支持集成其它個(gè)人或者企業(yè)的DM算法,并且將DM算法集成的復(fù)雜度不斷降低,它主要是基于OLE DB for DM規(guī)范,使用靈活。開發(fā)人員能夠利用數(shù)據(jù)挖掘功能開發(fā)應(yīng)用程序,其數(shù)據(jù)挖掘語言非常類似于SQL,數(shù)據(jù)挖掘供應(yīng)者是一個(gè)開放系統(tǒng),因?yàn)樗荗LE DB的一個(gè)部件,數(shù)據(jù)挖掘服務(wù)能夠通過DSO(Decision Support Object)、或ADO可包含在任何用戶應(yīng)用程序中。將DM算法無縫集成到SQL Server的分析服務(wù)中,利用集成的DM算法來構(gòu)建數(shù)據(jù)挖掘解決方案是一種理想的方式。
在SQL Server 2005數(shù)據(jù)挖掘平臺中,創(chuàng)建關(guān)系型挖掘模型的語法如下:
Create mining model()using
它類似于建立一個(gè)關(guān)系表,其中包括輸入、預(yù)測屬性,每一個(gè)模型與一個(gè)數(shù)據(jù)挖掘算法相關(guān)聯(lián)。
多維數(shù)據(jù)分析工具和報(bào)表工具使用統(tǒng)一空間模型UDM(Unified Dimensional Model),利用UDM中對業(yè)務(wù)實(shí)體的友好描述、等級導(dǎo)航、多視角、自動(dòng)平滑 翻譯 為本機(jī)語言等功能,可以實(shí)現(xiàn)出口退稅數(shù)據(jù)挖掘過程中所得到的結(jié)果集的友好展示。結(jié)束語
隨著數(shù)據(jù)倉庫技術(shù)的發(fā)展,數(shù)據(jù)挖掘會(huì)越來越發(fā)揮其獨(dú)到的分析優(yōu)勢,特別是將挖掘出的新知識通過用基于OLAP的決策支持系統(tǒng)加以驗(yàn)證、結(jié)合,可以更好地為決策者服務(wù)。出口退稅管理的電子化系統(tǒng)已經(jīng)積累了大量的業(yè)務(wù)數(shù)據(jù),可以為數(shù)據(jù)挖掘提供大量數(shù)據(jù),數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)在收稅管理具有廣闊的應(yīng)用前景。
第五篇:數(shù)據(jù)挖掘在企業(yè)競爭情報(bào)系統(tǒng)中的應(yīng)用
數(shù)據(jù)挖掘在企業(yè)競爭情報(bào)系統(tǒng)中的應(yīng)用
摘要:本文主要概述了數(shù)據(jù)挖掘技術(shù)的發(fā)展歷史和研究現(xiàn)狀。并將數(shù)據(jù)挖掘技術(shù)在企業(yè)競爭情報(bào)系統(tǒng)中的應(yīng)用狀況分別從國內(nèi)和國外兩方面作了介紹。同時(shí)對數(shù)據(jù)挖掘技術(shù)在企業(yè)競爭中的應(yīng)用的相關(guān)經(jīng)典理論與最新理論作了簡要的介紹。
關(guān)鍵詞: 數(shù)據(jù)挖掘;企業(yè)競爭情報(bào);知識發(fā)現(xiàn)
中圖分類號: TP39
21.引言
數(shù)據(jù)挖掘也稱知識發(fā)現(xiàn)。數(shù)據(jù)挖掘是一門不斷發(fā)展的綜合交叉學(xué)科,興起于20世紀(jì)80年代末,是當(dāng)前計(jì)算機(jī)行業(yè)最熱門的研究領(lǐng)域之一。數(shù)據(jù)挖掘理論匯聚了數(shù)據(jù)庫、可視化、并行計(jì)算等方面的技術(shù),集統(tǒng)計(jì)學(xué)、人工智能、模式識別、計(jì)算機(jī)科學(xué)、機(jī)器學(xué)習(xí)等多門學(xué)科理論知識為一體。數(shù)據(jù)挖掘技術(shù)從本質(zhì)上來說是一種新的商業(yè)信息處理技術(shù)。[1]從商業(yè)角度看,數(shù)據(jù)挖掘技術(shù)就是按企業(yè)的既定的業(yè)務(wù)目標(biāo),對大量的企業(yè)數(shù)據(jù)進(jìn)行深層次分析以揭示隱藏的,未知的規(guī)律并將其模型化,從而支持商業(yè)決策活動(dòng)。[2]
2.研究歷史
2.1 國外歷史
從數(shù)據(jù)庫中發(fā)現(xiàn)知識(KDD)一詞首次出現(xiàn)在1989年舉行的第十一屆國際聯(lián)合人工智能學(xué)術(shù)會(huì)議上。到目前為止,由美國人工智能協(xié)會(huì)主辦的KDD國際研討會(huì)已經(jīng)召開了8次,規(guī)模由原來的專題討論會(huì)發(fā)展到國際學(xué)術(shù)大會(huì),研究重點(diǎn)也逐漸從發(fā)現(xiàn)方法轉(zhuǎn)向系統(tǒng)應(yīng)用,注重多種發(fā)現(xiàn)策略和技術(shù)的集成,以及多種學(xué)科之間的相互滲透。1999年,亞太地區(qū)在北京召開的第三屆PAKDD會(huì)議收到158篇論文,空前熱烈。IEEE的Knowledge and Data Engineering會(huì)刊率先在1993年出版了KDD技術(shù)??2⑿杏?jì)算、計(jì)算機(jī)網(wǎng)絡(luò)和信息工程等其他領(lǐng)域的國際學(xué)會(huì)、學(xué)刊也把數(shù)據(jù)挖掘和知識發(fā)現(xiàn)列為專題和專刊討論,甚至到了膾炙人口的程度。[3]
2.2 國內(nèi)歷史
與國外相比,國內(nèi)對DMKD的研究稍晚,沒有形成整體力量。1993年國家自然科學(xué)基金首次支持我們對該領(lǐng)域的研究項(xiàng)目。[4]目前,國內(nèi)的許多科研單位和高等院校競相開展知識發(fā)現(xiàn)的基礎(chǔ)理論及其應(yīng)用研究,這些單位包括清華大學(xué)、中科院計(jì)算技術(shù)研究所、空軍第三研究所、海軍裝備論證中心等。其中,北京系統(tǒng)工程研究所對模糊方法在知識發(fā)現(xiàn)中的應(yīng)用進(jìn)行了較深入的研究,北京大學(xué)也在開展對數(shù)據(jù)立方體代數(shù)的研究,華中理工大學(xué)、復(fù)旦大學(xué)、浙江大學(xué)、中國科技大學(xué)、中科院數(shù)學(xué)研究所、吉林大學(xué)等單位開展了對關(guān)聯(lián)規(guī)則開采算法的優(yōu)化和改造;南京大學(xué)、四川聯(lián)合大學(xué)和上海交通大學(xué)等單位探討、研究了非結(jié)構(gòu)化數(shù)據(jù)的知識發(fā)現(xiàn)以及Web數(shù)據(jù)挖掘。[5]
2.3 重要理論
1997年,Mannila對當(dāng)時(shí)流行的數(shù)據(jù)挖掘理論的理論框架給出了綜述。[6]結(jié)合最新的研究成果,有下面一些重要的理論。
模式發(fā)現(xiàn)架構(gòu)理論,規(guī)則發(fā)現(xiàn)架構(gòu)理論,基于概率與統(tǒng)計(jì)理論,微觀經(jīng)濟(jì)學(xué)觀點(diǎn)理論,基于數(shù)據(jù)壓縮的理論,基于歸納數(shù)據(jù)庫理論,可視化數(shù)據(jù)挖掘理論。這些經(jīng)典的理論直到今天還是研究的熱門。而且也不能算是完善的理論。畢竟數(shù)據(jù)挖掘的概念的提出不過幾十年。Piatetsky-Shapiro說數(shù)據(jù)挖掘技術(shù)在被廣泛應(yīng)用之前,仍然有許多“鴻溝”要跨越,即所謂Chasm階段。[7]
3. 研究現(xiàn)狀
3.1國外研究與應(yīng)用現(xiàn)狀
最近,Gartner Group的一次高級技術(shù)調(diào)查將數(shù)據(jù)挖掘和人工智能列為“未來三到五年內(nèi)將對工業(yè)產(chǎn)生深遠(yuǎn)影響的五大關(guān)鍵技術(shù)”之首,并且還將并行處理體系和數(shù)據(jù)挖掘列為未來五年內(nèi)投資焦點(diǎn)的十大新興技術(shù)前兩位。根據(jù)最近Gartner的HPC研究表明,“隨著數(shù)據(jù)捕獲、傳輸和存儲技術(shù)的快速發(fā)展,大型系統(tǒng)用戶將更多地需要采用新技術(shù)來挖掘市場以外的價(jià)值,采用更為廣闊的并行處理系統(tǒng)來創(chuàng)建新的商業(yè)增長點(diǎn)?!盵8]
據(jù)美國《幸福》雜志統(tǒng)計(jì),全球500強(qiáng)企業(yè)的前100名企業(yè)和美國95%的公司均擁有自己的競爭情報(bào)系統(tǒng),幫助企業(yè)根據(jù)競爭環(huán)境和競爭對手的各種變化,贏得競爭的主動(dòng)權(quán)。根據(jù)美國未來集團(tuán)對世界500強(qiáng)企業(yè)的調(diào)查統(tǒng)計(jì),競爭情報(bào)對企業(yè)效益所作的貢獻(xiàn)占企業(yè)總效益的比率分別是:微軟為17%、摩托羅拉為11%、IBM為9%、寶潔為8%、通用電氣為7%、惠普為7%、可口可樂為5%、英特爾為5%。[9]
3.2國內(nèi)研究與應(yīng)用現(xiàn)狀
我國學(xué)者對競爭情報(bào)的研究始于20世紀(jì)80年代末期。當(dāng)時(shí),上海科技情報(bào)所的研究人員在國外進(jìn)修期間接觸到競爭情報(bào)的概念,并將其引入到國內(nèi),拉開了我國競爭情報(bào)研究的序幕。
1991—1994年,中國兵器工業(yè)情報(bào)研究所牽頭進(jìn)行了一項(xiàng)課題“情報(bào)研究的國內(nèi)外比較研究“,提出了把我國情報(bào)研究工作的重點(diǎn)轉(zhuǎn)向競爭情報(bào),推進(jìn)國家、集團(tuán)和企業(yè)的科技進(jìn)步,增強(qiáng)它們的競爭力和提高產(chǎn)品與服務(wù)的市場占有率方面來的重要對策。1992年中期,上海科學(xué)技術(shù)情報(bào)研究所成立了“市場調(diào)研部”,開始進(jìn)行競爭情報(bào)實(shí)踐的探索。由該所負(fù)責(zé)的“上海轎車工業(yè)競爭環(huán)境監(jiān)視系統(tǒng)”是國內(nèi)競爭情報(bào)領(lǐng)域第一個(gè)由政府立項(xiàng)的研究課題,于1992年10月立項(xiàng)、1993年底結(jié)束。1994年9月,國家計(jì)委、國家科委、國防科工委、北京市政府等部門聯(lián)合召開了“全國競爭情報(bào)與企業(yè)發(fā)展研討會(huì)”。1 996年,北京市科委將競爭情報(bào)軟科學(xué)納入“北京市工業(yè)振興計(jì)劃“中。作為四個(gè)示范工程之一,“北京市競爭情報(bào)示范工程”由兵器信息研究所、航天信息研究所具體承擔(dān)。示范工程以中介組織與企業(yè)合作的方式開展,在電子,電器、醫(yī)藥、化工、紡織和煙草等行業(yè)中選擇不同盈利狀況的企業(yè),共計(jì)8個(gè)項(xiàng)目,主要研究競爭情報(bào)系統(tǒng)(cis)的數(shù)據(jù)庫設(shè)計(jì)報(bào)系統(tǒng)、網(wǎng)絡(luò)設(shè)計(jì)等,至1999年10 月己完成了6個(gè)并通過驗(yàn)收。1999年年中,北京市科委決定成立“北京市競爭情報(bào)咨詢服務(wù)中心”,以“北京市競爭情報(bào)示范工程”的主要承擔(dān)單位航天信息研究所為依托單位,“在北京市企業(yè)開展競爭情報(bào)的推廣工作,培養(yǎng)一批競爭情報(bào)研究專家,幫助企業(yè)開展競爭情報(bào)研究,建立符合企業(yè)實(shí)際的競爭情報(bào)組織體系,為企業(yè)科學(xué)決策提供依據(jù)”。進(jìn)入2l世紀(jì),我國的海爾、康佳、創(chuàng)維等大型企業(yè)集團(tuán)分別在美國、印度、墨西哥設(shè)立了其海外工廠,競爭情報(bào)的應(yīng)用為他們開拓海外市場起到事半功倍的作用。在國內(nèi)已經(jīng)有一些大中型企業(yè)開始接受外部咨詢公司的服務(wù),并著手建設(shè)自己的競爭情報(bào)體系。包括醫(yī)藥行業(yè)的:三九醫(yī)藥、哈藥三廠、六廠、上海羅氏、西安楊森、同仁堂等;百貨行業(yè)的:西單商場、武漢中商;金融行業(yè)的:深圳發(fā)展銀行、上海浦發(fā)銀行、中國民生銀行等企業(yè)。2000年12月,由中國兵器工業(yè)第二一零研究所牽頭,北京大學(xué)信息管理系、中國科技信息研究所和北京牡丹電子集團(tuán)參與的一項(xiàng)國家自然科學(xué)基金會(huì)項(xiàng)目“企業(yè)競爭情報(bào)系統(tǒng)的模式和運(yùn)行機(jī)制研究”結(jié)題,在總結(jié)國內(nèi)外經(jīng)驗(yàn)的基礎(chǔ)上,構(gòu)造了由三個(gè)網(wǎng)絡(luò)、三個(gè)系統(tǒng)、一個(gè)中心、六大功能構(gòu)成的企業(yè)競爭情報(bào)系統(tǒng),并給出了競爭情報(bào)分析方法及其評價(jià)指標(biāo),詳細(xì)介紹了競爭對手跟蹤、關(guān)鍵成功因素分析、核心競爭力分析和多點(diǎn)競爭分析方法以及計(jì)算機(jī)技術(shù)在競爭情報(bào)分析中的應(yīng)用。目前,國內(nèi)市場上已出現(xiàn)了專業(yè)的競爭情報(bào)系統(tǒng)產(chǎn)品。2002年8月下旬,百度公司正式發(fā)布了業(yè)界首例企業(yè)競爭情報(bào)系統(tǒng),據(jù)該公司的宣傳材料稱,名為e.CIS的百度企業(yè)競爭情報(bào)系統(tǒng)集情報(bào)計(jì)劃、采集、管理和服務(wù)為一體,能夠幫助企業(yè)對整體競爭環(huán)境和競爭對手進(jìn)行全面監(jiān)測,同時(shí)收集和分析商業(yè)競爭中企業(yè)商業(yè)行為的優(yōu)勢、劣勢及潛在的機(jī)遇,可以由此使企業(yè)建立起·個(gè)強(qiáng)大的情報(bào)中心。競爭情報(bào)系統(tǒng)正在以燎原之勢迅速發(fā)展。雖然競爭情報(bào)工作在我國已有相當(dāng)程度的發(fā)展,企業(yè)界對競爭情報(bào)的認(rèn)識正在逐漸深化,但是這項(xiàng)很有意義的工作還并沒有大范圍的推廣普及。據(jù)“企業(yè)競爭情報(bào)系統(tǒng)的模式和運(yùn)行機(jī)制研究”課題的一項(xiàng)以競爭情報(bào)分會(huì)會(huì)員為樣本的調(diào)查顯示,在調(diào)查對象中,只有18.75%的企業(yè)擁有競爭情報(bào)部門,并且已經(jīng)建立了正規(guī)化的工作流程與情報(bào)網(wǎng)絡(luò)。在27.78%的企業(yè)中,競爭情報(bào)工作只具有圖書館功黥沒有建立正式的競爭情報(bào)流程或網(wǎng)絡(luò)。而高達(dá)53.47%的企業(yè)處于正在建立正式的競爭情報(bào)組織與網(wǎng)絡(luò)的發(fā)展過程中。但同時(shí),競爭情報(bào)流程己制度化,擁有世界范圍網(wǎng)絡(luò),并具有相當(dāng)反應(yīng)能力的企業(yè)數(shù)則為零,這說明我國多數(shù)企業(yè)競爭情報(bào)工作尚處于發(fā)展中,我國競爭情報(bào)事業(yè)的發(fā)展任重道遠(yuǎn)引。[10]
3.3目前的研究方向與重要理論
數(shù)據(jù)挖掘技術(shù)與特定商業(yè)的平滑問題。商業(yè)邏輯有機(jī)地嵌入數(shù)據(jù)挖掘過程等關(guān)鍵問題,將是數(shù)據(jù)挖掘技術(shù)研究和應(yīng)用的重要方向。數(shù)據(jù)挖掘技術(shù)與特定數(shù)據(jù)存儲類型的適應(yīng)問題 不同的數(shù)據(jù)存儲方式會(huì)影響數(shù)據(jù)挖掘的具體實(shí)現(xiàn)機(jī)制,目標(biāo)定位,技術(shù)有效性等。大型數(shù)據(jù)的選擇與規(guī)格化問題。數(shù)據(jù)挖掘技術(shù)是面向大型數(shù)據(jù)集的,而且源數(shù)據(jù)庫中的數(shù)據(jù)時(shí)動(dòng)態(tài)變化的,數(shù)據(jù)存在噪音,不確定性,信息丟失,信息冗余,數(shù)據(jù)分布稀疏等問題,因此挖掘前的預(yù)處理工作是必須的。數(shù)據(jù)挖掘技術(shù)又是面向特定商業(yè)目標(biāo)的,大量的數(shù)據(jù)需要選擇性的利用,因此針對特定挖掘問題進(jìn)行數(shù)據(jù)選擇,針對特定挖掘方法進(jìn)行數(shù)據(jù)規(guī)格化是無法回避的問題。數(shù)據(jù)挖掘系統(tǒng)的架構(gòu)與交互式挖掘技術(shù)。數(shù)據(jù)挖掘語言與系統(tǒng)的可視化問題。數(shù)據(jù)挖掘理論與算法研究。[11]
4.結(jié)語
當(dāng)前商業(yè)競爭異常激烈,企業(yè)迅速掌握有效的信息非常重要。數(shù)據(jù)挖掘技術(shù)在企業(yè)競爭情報(bào)系統(tǒng)中的應(yīng)用使得企業(yè)從海量信息中徹底解放出來。當(dāng)前數(shù)據(jù)挖掘技術(shù)正在快速發(fā)展階段,它對企業(yè)方方面面的價(jià)值日漸凸顯。相關(guān)專業(yè)人士應(yīng)該充分關(guān)注當(dāng)前最新的發(fā)展理論。
參考文獻(xiàn)
[1] 毛國君,段立娟,王實(shí),石云.數(shù)據(jù)挖掘原理與算法(第二版)[M].北京:清華大學(xué)出版社,2007.[2] 毛國君.數(shù)據(jù)挖掘的概念﹑系統(tǒng)結(jié)構(gòu)與方法[M].北京:清華大學(xué)出版社,2009.[3] 百度空間:數(shù)據(jù)挖掘[EB/OL].[2011-12-25]
[4] 洪家榮.空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的理論與方法[M].北京:人民郵電出版社,2001.[5]邵峰晶,于忠清.?dāng)?shù)據(jù)挖掘原理與算法[M]北京:中國水利水電出版社,2003.
[6] 陳敏.數(shù)據(jù)挖掘技術(shù)在商業(yè)中的應(yīng)用研究[M].上海:上??茖W(xué)技術(shù)出版社,2005.[7]蘇新寧楊建林等.?dāng)?shù)據(jù)倉庫和數(shù)據(jù)挖掘[M]北京:清華大學(xué)出版社,2006:60—63.
[8] 百度百科:[EB/OL].[2011-12-25].[10]劉曉燕,單曉紅.?dāng)?shù)據(jù)挖掘在競爭情報(bào)系統(tǒng)中的應(yīng)用[J].管理學(xué)報(bào),2009,2(2):1 29—1 30
[11] 史忠植.知識發(fā)現(xiàn)[M].北京:清華大學(xué)出版社,2010.