第一篇：A31 大數(shù)據(jù)分析與數(shù)據(jù)挖掘能力提升實戰(zhàn)(5天)

大數(shù)據(jù)分析與數(shù)據(jù)挖掘能力提升實戰(zhàn)

【課程目標】

本課程為綜合課程，包含基本的數(shù)據(jù)分析，到高級的數(shù)據(jù)挖掘，數(shù)據(jù)建模，以及大數(shù)據(jù)在市場營銷方面的應用，幫助企業(yè)的相關人員提升數(shù)據(jù)分析的綜合能力，解決業(yè)務問題和企業(yè)決策問題。

本課程從實際的業(yè)務需求出發(fā)（特別是市場營銷領域的業(yè)務），結合行業(yè)的典型應用特點，圍繞實際的商業(yè)問題，對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術進行了全面的介紹（從數(shù)據(jù)收集與處理，到數(shù)據(jù)分析與挖掘，再到數(shù)據(jù)可視化和報告撰寫），通過大量的操作演練，幫助學員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、表達、工具，從大量的企業(yè)經營數(shù)據(jù)中進行分析，挖掘客戶行為特點，幫助運營團隊深入理解業(yè)務運作，以達到提升學員的數(shù)據(jù)綜合分析能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、了解大數(shù)據(jù)的核心理念，以及大數(shù)據(jù)思維。

2、掌握數(shù)據(jù)分析的基礎知識，掌握數(shù)據(jù)分析的基本過程。

3、學會數(shù)據(jù)分析的框架和思路，掌握常用數(shù)據(jù)分析方法來分析問題。

4、掌握數(shù)據(jù)挖掘，數(shù)據(jù)建模，以及模型優(yōu)化，能夠解決商業(yè)問題。

5、掌握常用分析和挖掘工具，學習使用Excel、SPSS、Modeler工具來做數(shù)據(jù)分析、數(shù)據(jù)挖掘，以及數(shù)據(jù)預處理和建模。

【授課時間】

5天時間

【授課對象】

市場營銷部、業(yè)務支撐、經營分析部、網管/網優(yōu)中心、數(shù)據(jù)分析部等對業(yè)務數(shù)據(jù)分析有要求的相關人員。

【學員要求】

1、每個學員自備一臺便攜機(必須)。

2、便攜機中事先安裝好Excel 2010版本及以上（常規(guī)分析）。

3、便攜機中事先安裝好IBM SPSS Statistics v19版本及以上（數(shù)據(jù)挖掘）。

4、便攜機中事先安裝好IBM SPSS Modeler v19版本及以上（數(shù)據(jù)預處理和建模）。注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。

【授課方式】

數(shù)據(jù)分析/挖掘基礎 + 思路分解 + 方法講解 + 實際業(yè)務問題分析 + 工具操作 采用互動式教學，圍繞業(yè)務問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

不空談理論，不空談方法，以業(yè)務分析為核心，以解決問題為目的。

一切不以解決業(yè)務問題的數(shù)據(jù)分析/挖掘都是耍流氓！

【課程大綱】

第一部分：解構大數(shù)據(jù)

1、大數(shù)據(jù)時代已經來臨

2、大數(shù)據(jù)的三層理解

? 理論層：以數(shù)據(jù)為基礎 ? 技術層：以平臺為手段 ? 應用層：以應用為導向

3、大數(shù)據(jù)的4V特征

4、大數(shù)據(jù)的核心價值

? 發(fā)現(xiàn)業(yè)務運行規(guī)律 ? 預測事物未來

5、大數(shù)據(jù)在各行業(yè)是如何應用的

? 醫(yī)療衛(wèi)生 ? 政治軍事 ? 行政執(zhí)法 ? 金融銀行 ? ……

6、數(shù)據(jù)分析的核心理念

? 數(shù)據(jù)變化意味著業(yè)務變化 ? 數(shù)據(jù)間關系意味著因素間的關系

7、大數(shù)據(jù)戰(zhàn)略 ? 大數(shù)據(jù)成為企業(yè)的核心資產 ? 大數(shù)據(jù)成為業(yè)務創(chuàng)新的核心引擎 ? 從數(shù)據(jù)化運營到運營數(shù)據(jù)

8、大數(shù)據(jù)的思維變革

? 定量思維 ? 相關思維 ? 實驗思維 ? ……

9、大數(shù)據(jù)的商業(yè)模式分析

10、大數(shù)據(jù)的人才培養(yǎng)

第二部分：數(shù)據(jù)分析篇

問題：數(shù)據(jù)分析是神馬?數(shù)據(jù)分析基本過程？

1、數(shù)據(jù)分析面臨的常見問題

2、認識數(shù)據(jù)分析

? 什么是數(shù)據(jù)分析 ? 數(shù)據(jù)分析的三大作用 ? 數(shù)據(jù)分析的三大類別 案例：喜歡賺“差價”的營業(yè)員

3、數(shù)據(jù)分析的六步曲

? 明確目的 ? 收集數(shù)據(jù)

? 處理數(shù)據(jù)（預處理）? 分析數(shù)據(jù)

? 呈現(xiàn)數(shù)據(jù)（可視化）? 撰寫報告

案例：終端精準營銷項目過程討論

4、數(shù)據(jù)分析師需要什么樣的能力 ? 懂業(yè)務、懂管理、懂分析、懂工具、懂呈現(xiàn)

5、大數(shù)據(jù)應用系統(tǒng)的四層結構

? 數(shù)據(jù)基礎層、數(shù)據(jù)模型層、業(yè)務模型層、業(yè)務應用層

6、數(shù)據(jù)分析方法的層次

? 基本分析法（對比/分組/結構/趨勢/…）? 綜合分析法（交叉/綜合評價/杜邦/漏斗/…）? 高級分析法（相關/方差/驗證/回歸/時序/…）? 數(shù)據(jù)挖掘法（聚類/分類/關聯(lián)/RFM模型/…）

7、基本分析方法及其適用場景

? 對比分析（查看數(shù)據(jù)差距）

演練：按性別、省份、產品進行分類統(tǒng)計 ? 分組分析（查看數(shù)據(jù)分布）演練：銀行信用卡月消費分析（銀行）演練：呼叫中心接聽電話效率分析（呼叫中心）演練：客服中心科學排班人數(shù)需求分析（客服中心）演練：客戶年齡分布分析 案例：排班后面隱藏的貓膩 ? 結構分析（評估事物構成）案例：用戶市場占比結構分析

案例：物流費用占比結構分析（物流）? 趨勢分析（發(fā)現(xiàn)變化規(guī)律）案例：破解零售店銷售規(guī)律

8、綜合分析方法及其適用場景

? 交叉分析（兩維分析）演練：用戶性別+地域分布分析 ? 綜合評價法（多維指標歸一）演練：人才選拔評價分析（HR）案例：南京丈母娘選女婿分析表格

? 杜邦分析法（關鍵因素分析-財務數(shù)據(jù)分析）案例：電信市場占有率分析

演練：服務水平提升分析（呼叫中心）案例：銷售額的影響因素分析（零售店/電商）

? 漏斗分析法（關鍵流程環(huán)節(jié)分析-流失率與轉化率分析）演練：終端銷售流程分析（電信營業(yè)廳）案例：業(yè)務辦理流程優(yōu)化分析（銀行營業(yè)廳）案例：物流配送效率分析（物流）

? 矩陣分析法（產品策略分析-象限圖分析法）案例：工作安排評估 案例：HR人員考核與管理 案例：波士頓產品策略分析

9、最合適的分析方法才是硬道理。

10、數(shù)據(jù)分析思路（如何細化業(yè)務問題）

案例：利用5W2H來分析產品銷售情況

第三部分：概率與數(shù)理統(tǒng)計篇

1、數(shù)據(jù)統(tǒng)計指標

? 集中程度：平均數(shù)/中位數(shù)/眾數(shù)

? 離散程度：全距/四分位距/標準差/四分位 ? 分布形態(tài)：偏度/峰度 ? 正確理解各指標的含義 案例：如何用Excel計算統(tǒng)計指標 案例：如何用Excel畫直方圖

2、概率論基本知識

? 隨機事件與概率 ? 古典概率與條件概率 ? 全概率公式與貝葉斯公司 ? 概率分布函數(shù) ? 數(shù)學期望與方差 ? 大數(shù)定律與中心極限定理

3、參數(shù)檢驗分析

? 假設檢驗概述 ? 假設檢驗步驟

? 樣本T檢驗（單樣本、兩獨立樣本、兩配對樣本）及適用場景 案例：電信運營商ARPU值評估分析（單樣本）案例：營銷活動前后分析（兩配對樣本）案例：吸煙與膽固醇升高的分析（兩獨立樣本）

4、非參數(shù)檢驗分析

? 非參數(shù)檢驗概述

? 樣本檢驗（單樣本、兩獨立樣本、兩相關樣本）案例：產品合格率檢驗（單樣本-二項分布）

案例：訓練新方法有效性檢驗（兩配對樣本-符號/秩檢驗）案例：促銷方式效果檢驗(多相關樣本-Friedman檢驗)案例：客戶滿意度差異檢驗(多相關樣本-Cochran Q檢驗)

第四部分：高級數(shù)據(jù)分析

本篇包含三大內容：影響因素分析，數(shù)值預測模型。

1、相關分析（衡量變量間的的相關性）

問題：營銷費用會影響銷售額嗎？影響程度大嗎？ ? 什么是相關關系

? 相關系數(shù)：衡量相關程度的指標 ? 相關分析的步驟與計算公式 ? 相關分析應用場景 演練：體重與腰圍的關系 演練：營銷費用與銷售額的關系

2、方差分析 問題：哪些才是影響銷量的關鍵因素？ ? 方差分析解決什么問題

? 方差分析種類：單因素/雙因素可重復/雙因素無重復 ? 方差分析的應用場景 ? 如何解決方差分析結果

演練：產品擺放位置與銷量有關嗎？（單因素方差分析）案例：2015年大學生工資與父母職業(yè)的關系

3、回歸分析（預測）

問題：如何預測未來的銷售量（定量分析）？ ? 回歸分析的基本原理和應用場景

? 回歸分析的種類（一元/多元、線性/曲線）? 回歸分析的幾種常用方法 ? 回歸分析的五個步驟與結果解讀

? 回歸預測結果評估（如何評估預測質量，如何選擇最佳回歸模型）演練：散點圖找推廣費用與銷售額的關系（一元線性回歸）演練：推廣費用、辦公費用與銷售額的關系（多元線性回歸）演練：最佳選擇的預測銷售額的回歸模型（一元曲線回歸）? 回歸分析（帶分類變量）案例：汽車銷量的季度預測

演練：工齡、性別與終端銷量的關系 討論：終端銷售預測分析（營業(yè)廳）

4、時序分析（預測）

問題：隨著時間變化，未來的銷量變化趨勢如何？ ? 時序分析的應用場景（基于時間的變化規(guī)律）? 移動平均的預測原理 ? 指數(shù)平滑的預測原理

案例：銷售額的時序預測及評估 演練：產品銷量預測及評估 第五部分：建立預測模型與模型優(yōu)化（Excel工具）

本篇包含內容：數(shù)值預測建模、模型優(yōu)化，季節(jié)性預測模型、S曲線預測模型。

1、常見預測模型類別

? 數(shù)值預測 ? 分類預測

2、回歸分析建模

? 尋找最佳回歸擬合線來判斷和預測

? 模型優(yōu)化七步法（因素、異常值、相互作用、非線性關系…）案例：汽車銷量預測分析

案例：工齡、性別與銷量的回歸分析

3、季節(jié)性預測模型

? 季節(jié)性預測模型的參數(shù)

? 常用季節(jié)性預測模型（相加模型、相乘模型）案例：美國航空旅客里程的季節(jié)性趨勢分析 案例：產品銷售季節(jié)性趨勢預測分析

4、新產品銷量預測與S曲線

? 如何評估銷量增長的拐點

? 常用模型（珀爾曲線、龔鉑茲曲線）

案例：預測IPad產品的銷售增長拐點，以及銷量上限

5、規(guī)劃求解與自定義模型 案例：大數(shù)據(jù)下的產品定價方法

案例：如何對客流量進行建模及模型優(yōu)化

第五部分：數(shù)據(jù)挖掘篇（SPSS工具使用）

1、數(shù)據(jù)挖掘概述

2、數(shù)據(jù)挖掘的標準流程

? 商業(yè)理解 ? 數(shù)據(jù)準備 ? 數(shù)據(jù)理解 ? 模型建立 ? 模型評估 ? 模型應用

案例：通信客戶流失分析及預警模型

3、聚類分析（市場細分與客戶細分）

問題：如何實現(xiàn)客戶細分，開發(fā)符合細分市場的新產品？ ? 聚類分析及其作用 ? 聚類分析的種類 ? 層次聚類：發(fā)現(xiàn)多個類別 ? R型聚類與Q型聚類的區(qū)別

演練：中國省市經濟發(fā)展情況分析（Q型聚類）演練：裁判評分的標準衡量（R型聚類）? K均值聚類

演練：寶潔公司如何選擇新產品試銷區(qū)域？ 演練：如何評選優(yōu)秀員工？

4、分類分析

案例：美國零售商（Target）如何預測少女懷孕

問題：如何提取客戶流失者、拖欠貨款者的特征？如何預測其流失的概率？

? 分類與聚類 ? 決策樹分類的原理 ? 如何評估分類性能

演練：識別銀行欠貨風險，提取欠貨者的特征

5、關聯(lián)分析

案例：啤酒與尿布、颶風與蛋撻

問題：購買面包的人是否也會購買牛奶？他們同時購買哪些產品？ ? 關聯(lián)分析解決什么樣的問題 ? 如何提取關聯(lián)規(guī)則 ? 關聯(lián)規(guī)則的應用場景

案例：超市商品交叉銷售與布局優(yōu)化（關聯(lián)分析）

6、RFM模型

問題：如何評估客戶的價值？如何針對不同客戶采取不同的營銷策略？ ? RFM模型介紹

? RFM的客戶細分框架理解 演練：淘寶客戶選擇促銷客戶的方式

演練：結合響應模型，宜家IKE實現(xiàn)最大化營銷利潤

第六部分：數(shù)據(jù)挖掘實戰(zhàn)篇（Modeler工具實操）

1、數(shù)據(jù)挖掘處理的一般過程

? 數(shù)據(jù)源?數(shù)據(jù)理解?數(shù)據(jù)準備?探索分析?數(shù)據(jù)建模?模型評估

2、數(shù)據(jù)讀入

3、數(shù)據(jù)集成

? 變量合并（增加變量）? 數(shù)據(jù)追加（添加記錄）

4、數(shù)據(jù)理解

? 取值范圍限定 ? 重復數(shù)據(jù)處理 ? 缺失值處理 ? 無效值處理

? 離群點和極端值的修正 ? 數(shù)據(jù)質量評估

5、數(shù)據(jù)準備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）? 數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值）? 數(shù)據(jù)平衡：正反樣本比例均衡 ? 其它：排序、分類匯總

6、數(shù)據(jù)準備：變量處理

? 變量變換：原變量值更新 ? 變量派生：生成新的變量 ? 變量精簡：降維，減少變量個數(shù)

7、基本分析

? 單變量：數(shù)據(jù)基本描述分析

? 雙變量：相關分析、方差分析、卡方檢驗（列聯(lián)檢驗）? 變量精簡：特征選擇、因子分析 案例：通信基本費用與開通月數(shù)的相關分析 案例：開通月數(shù)對客戶流失的影響分析 案例：套餐類型對對客戶流失的影響分析

8、特征選擇

? 特征選擇方法：選擇重要變量，剔除不重要的變量 ? 從變量本身考慮

? 從輸入變量與目標變量的相關性考慮

9、因子分析（主成分分析）

? 因子分析的原理 ? 因子個數(shù)如何選擇 ? 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

10、常見分類預測模型 ? 分類預測基本過程

? 如何評估分類模型的性能（查準率、查全率）

11、決策樹分類 ? 決策樹分類原理

? 決策樹構建的三個關鍵問題 ? 決策樹算法

案例：識別銀行欠貨風險，提取欠貨者的特征 案例：客戶流失預警與客戶挽留模型

12、神經網絡 ? 神經網絡概述 ? 神經元工作原理 ? BP反向傳播網絡（MLP）? 徑向基函數(shù)網絡（RBF）13、14、實戰(zhàn)：電信客戶流失分析與預警模型 支持向量機 貝葉斯分類

結束：課程總結與問題答疑。

第二篇：C02 利用Python實現(xiàn)大數(shù)據(jù)分析與數(shù)據(jù)挖掘技術培訓(5天)

Python實現(xiàn)大數(shù)據(jù)挖掘技術培訓

【課程目標】

Python已經成為數(shù)據(jù)分析和數(shù)據(jù)挖掘的首選語言，作為除了Java、C/C++/C#外最受歡迎的語言。

本課程基于Python工具來實現(xiàn)大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘項目。基于業(yè)務問題，在數(shù)據(jù)挖掘標準過程指導下，采用Python分析工具，實現(xiàn)數(shù)據(jù)挖掘項目的每一步操作，從數(shù)據(jù)預處理、數(shù)據(jù)建模、數(shù)據(jù)可視化，到最終數(shù)據(jù)挖掘結束，幫助學員掌握Python用于數(shù)據(jù)挖掘，提升學員的數(shù)據(jù)化運營及數(shù)據(jù)挖掘的能力。

通過本課程的學習，達到如下目的：

1、全面掌握Python語言以及其編程思想。

2、掌握常用擴展庫的使用，特別是數(shù)據(jù)挖掘相關庫的使用。

3、學會使用Python完成數(shù)據(jù)挖掘項目整個過程。

4、掌握利用Python實現(xiàn)可視化呈現(xiàn)。

5、掌握數(shù)據(jù)挖掘常見算法在Python中的實現(xiàn)。【授課時間】

5天時間

（全部模塊講完需要5天時間，可以根據(jù)時間需求拆分內容模塊）?！臼谡n對象】

業(yè)務支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網絡運維部等相關技術人員?！緦W員要求】

課程為實戰(zhàn)課程，要求：

1、每個學員自備一臺便攜機(必須)。

2、便攜機中事先安裝好Excel 2010版本及以上。

3、便攜機中事先安裝好Python 3.6版本及以上。

注：講師現(xiàn)場提供開源的安裝程序、擴展庫，以及現(xiàn)場分析的數(shù)據(jù)源。

【授課方式】

語言基礎 +挖掘模型 +案例演練+開發(fā)實踐+可視化呈現(xiàn)

采用互動式教學，圍繞業(yè)務問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升?！菊n程大綱】

第一部分：Python語言基礎

目的：掌握基本的Python編程思想與編程語句，熟悉常用數(shù)據(jù)結構的操作

1、Python簡介

2、開發(fā)環(huán)境搭建 ? Python的安裝 ? 擴展庫的安裝

3、掌握Python的簡單數(shù)據(jù)類型 ?

字符串的使用及操作 ? 整數(shù)、浮點數(shù)

4、掌握基本語句：

? if、while、for、print等 ? 基本運算：

? 函數(shù)定義、參數(shù)傳遞、返回值

5、掌握復雜的數(shù)據(jù)類型：列表/元組

? 列表操作：訪問、添加、修改、刪除、排序 ? 列表切片、復制等 ? 列表相關的函數(shù)、方法 ? 元組的應用

6、復雜數(shù)據(jù)類型：字典 ? 創(chuàng)建、訪問、修改、刪除、遍歷 ? 字典函數(shù)和方法

7、復雜數(shù)據(jù)類型：集合

8、掌握面向對象編程思想 ? 創(chuàng)建類、繼承類 ? 模塊

9、函數(shù)定義、參數(shù)傳遞、返回值10、11、標準庫與擴展庫的導入 異常處理:try-except塊

演練：基本的Python編程語句

第二部分：Python語言與數(shù)據(jù)挖掘庫

目的：掌握數(shù)據(jù)集結構及基本處理方法，進一步鞏固Python語言

1、數(shù)據(jù)挖掘常用擴展庫介紹 ? Numpy數(shù)組處理支持 ? Scipy矩陣計算模塊

? Matplotlib數(shù)據(jù)可視化工具庫 ? Pandas數(shù)據(jù)分析和探索工具 ? StatsModels統(tǒng)計建模庫 ? Scikit-Learn機器學習庫 ? Keras深度學習（神經網絡）庫 ? Gensim文本挖掘庫

2、數(shù)據(jù)集讀取與操作：讀取、寫入 ? 讀寫文本文件 ? 讀寫CSV文件 ? 讀寫Excel文件 ? 從數(shù)據(jù)庫獲取數(shù)據(jù)集

3、數(shù)據(jù)集的核心數(shù)據(jù)結構（Pandas數(shù)據(jù)結構）? DataFrame對象及處理方法 ? Series對象及處理方法

演練：用Python實現(xiàn)數(shù)據(jù)的基本統(tǒng)計分析功能

第三部分：數(shù)據(jù)可視化處理

目的：掌握作圖擴展庫，實現(xiàn)數(shù)據(jù)可視化

1、常用的Python作圖庫 ? Matplotlib庫 ? Pygal庫

2、實現(xiàn)分類匯總

演練：按性別統(tǒng)計用戶人數(shù)

演練：按產品+日期統(tǒng)計各產品銷售金額

3、各種圖形的畫法 ? 直方圖 ? 餅圖 ? 折線圖 ? 散點圖

4、繪圖的美化技巧

演練：用Python庫作圖來實現(xiàn)產品銷量分析，并可視化

第四部分：數(shù)據(jù)挖掘基礎 目的：掌握數(shù)據(jù)挖掘標準流程

1、數(shù)據(jù)挖掘概述

2、數(shù)據(jù)挖掘的標準流程（CRISP-DM）? 商業(yè)理解 ? 數(shù)據(jù)準備 ? 數(shù)據(jù)理解 ? 模型建立 ? 模型評估 ? 模型應用

3、數(shù)據(jù)挖掘常用任務與算法

案例：用大數(shù)據(jù)實現(xiàn)精準營銷的項目過程

第五部分：數(shù)據(jù)理解和數(shù)據(jù)準備

目的：掌握數(shù)據(jù)預處理的基本環(huán)節(jié)，以及Python的實現(xiàn)

1、數(shù)據(jù)預處理

? 異常值處理：3σ準則，IQR準則 ? 缺失值插補：均值、拉格朗日插補 ? 數(shù)據(jù)篩選/抽樣 ? 數(shù)據(jù)的離散化處理 ? 變量變換、變量派生

2、數(shù)據(jù)的基本分析

? 相關分析：原理、公式、應用 ? 方差分析：原理、公式、應用 ? 卡方分析：原理、公式、應用 ? 主成分分析：降維

案例：用Python實現(xiàn)數(shù)據(jù)預處理及數(shù)據(jù)準備

第四部分：分類預測模型實戰(zhàn)

1、常見分類預測的模型與算法

2、如何評估分類預測模型的質量 ? 查準率 ? 查全率 ? ROC曲線

3、邏輯回歸分析模型 ? 邏輯回歸的原理 ? 邏輯回歸建模的步驟 ? 邏輯回歸結果解讀

案例：用sklearn庫實現(xiàn)銀行貸款違約預測

4、決策樹模型

? 決策樹分類的原理 ? 決策樹的三個關鍵問題 ? 決策樹算法與實現(xiàn) 案例：電力竊漏用戶自動識別

5、人工神經網絡模型（ANN）? 神經網絡概述 ? 神經元工作原理

? 常見神經網絡算法（BP、LM、RBF、FNN等）案例：神經網絡預測產品銷量

6、支持向量機（SVM）? SVM基本原理 ? 維災難與核心函數(shù)

案例：基于水質圖像的水質評價

7、貝葉斯分析 ? 條件概率 ? 常見貝葉斯網絡

第五部分：數(shù)值預測模型實戰(zhàn)

1、常用數(shù)值預測的模型 ? 通用預測模型：回歸模型

? 季節(jié)性預測模型：相加、相乘模型 ? 新產品預測模型：珀爾曲線與龔鉑茲曲線

2、回歸分析概念

3、常見回歸分析類別

第六部分：聚類分析（客戶細分）實戰(zhàn)

1、客戶細分常用方法

2、聚類分析（Clustering）? 聚類方法原理介紹及適用場景 ? 常用聚類分析算法 ? 聚類算法的評價

案例：使用SKLearn實現(xiàn)K均值聚類 案例：使用TSNE實現(xiàn)聚類可視化

3、RFM模型分析

? RFM模型，更深入了解你的客戶價值 ? RFM模型與市場策略 案例：航空公司客戶價值分析

第七部分：關聯(lián)規(guī)則分析實戰(zhàn)

1、關聯(lián)規(guī)則概述

2、常用關聯(lián)規(guī)則算法

3、時間序列分析

案例：使用apriori庫實現(xiàn)關聯(lián)分析 案例：中醫(yī)證型關聯(lián)規(guī)則挖掘

第八部分：案例實戰(zhàn)（學員主導，老師現(xiàn)場指導）

1、電商用戶行為分析及服務推薦

2、基于基站定位數(shù)據(jù)的商圈分析

結束：課程總結與問題答疑。

第三篇：讀《數(shù)據(jù)挖掘與數(shù)據(jù)化運營實戰(zhàn)》有感

讀《數(shù)據(jù)挖掘與數(shù)據(jù)化運營實戰(zhàn)》有感

近幾年來“云計算”一詞剛被各大科技公司炒得熱火朝天的，這“云計算”還沒走遠，“大數(shù)據(jù)”又突襲而來。仿佛一夜間，各廠商都紛紛改旗換幟，推廣起“大數(shù)據(jù)”來了。于是乎，本書也將針對這一熱點技術，向讀者闡述了什么是大數(shù)據(jù)，什么是數(shù)據(jù)挖掘，如何實戰(zhàn)運用。書中列舉了很多“高大上”的理論公式、專業(yè)名稱、實戰(zhàn)圖表，說實話，我也沒耐得下性子一一仔細專研，只是從廣義地角度去通讀了全書，了解到該書反映的現(xiàn)實中企業(yè)如何運用大數(shù)據(jù)分析來實現(xiàn)營銷獲利的。

這本書對這個大規(guī)模產生、分享和應用數(shù)據(jù)的新的大數(shù)據(jù)時代進行了闡述和厘清，作者圍繞“要全體不要抽樣、要效率不要絕對精確、要相關不要因果”三大理念，通過數(shù)十個商業(yè)和學術案例，剖析了萬事萬物數(shù)據(jù)化和數(shù)據(jù)復用挖掘的巨大價值。

如作者所言“大數(shù)據(jù)開啟了一次重大時代轉型。就像望遠鏡讓我們能夠感受宇宙，顯微鏡讓我們看清微生物一樣，大數(shù)據(jù)要改變的是，我們的生活方方面面以及理解世界的方式”。比如，谷歌通過全球搜索分析，比國際疾病控防中心更早更準地預測了流感爆發(fā)。

在思維變革部分，作者講述的重點是：樣本=總體，我們需要對全部數(shù)據(jù)的占有和分析；因此，數(shù)據(jù)缺乏時代的精確性不必執(zhí)迷，接受混雜基于大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復雜算法更有效；樣本推斷的因果關系不重要了，知道“是什么”的相關關系，或者結果就可以了。

而讀完本書，對于我自己最受用的是什么呢？就是“大數(shù)據(jù)分析”這個理念，鑒于數(shù)據(jù)化營銷在當今大數(shù)據(jù)時代已經是眾多現(xiàn)代企業(yè)的普遍經營戰(zhàn)略，熟悉掌握數(shù)據(jù)挖掘與數(shù)據(jù)分析的人才，是企業(yè)之中的寶貴財富。如果有時間我也將會細讀和鉆研書中的數(shù)據(jù)挖掘與分析技術，掌握并精通，學習數(shù)據(jù)挖掘可以從企業(yè)不同層面的人的視角去分析企業(yè)的運營情況，通過預警和預測分析，為企業(yè)的經營決策提供支持，因為：數(shù)據(jù)不會騙人。

第四篇：數(shù)據(jù)挖掘與電子商務

數(shù)據(jù)挖掘與電子商務

姓名：龔洪虎

學號:X2009230111

[摘 要] 企業(yè)的競爭優(yōu)勢并不取決于信息的擁有量，而是取決于信息的處理利用能力。如何化信息優(yōu)勢為競爭優(yōu)勢，是企業(yè)制勝于市場的一個法寶。本文論述了一種信息處理利用的有效工具——數(shù)據(jù)挖掘方法及其在電子商務中的應用。

[關鍵詞] 數(shù)據(jù)挖掘 方法 電子商務 應用

隨著網絡技術和數(shù)據(jù)庫技術的成熟，傳統(tǒng)商務正經歷一次重大變革，向電子商務全速挺進。這種商業(yè)電子化的趨勢不僅為客戶提供了便利的交易方式和廣泛的選擇，同時也為商家提供了更加深入了解客戶需求信息和購物行為特征的可能性。數(shù)據(jù)挖掘技術作為電子商務的重要應用技術之一，將為正確的商業(yè)決策提供強有力的支持和可靠的保證，是電子商務不可缺少的重要工具。

一、電子商務和數(shù)據(jù)挖掘簡介。

電子商務是指個人或企業(yè)通過Internet網絡，采用數(shù)字化電子方式進行商務數(shù)據(jù)交換和開展商務業(yè)務活動。目前國內已有網上商情廣告、電子票據(jù)交換、網上訂購，網上銀行、網上支付結算等多種類型的電子商務形式。電子商務正以其成本低廉、方便、快捷、安全、可靠、不受時間和空間的限制等突出優(yōu)點而逐步在全球流行。

數(shù)據(jù)挖掘(DataMining)是伴隨著數(shù)據(jù)倉庫技術的發(fā)展而逐步完善起來的。數(shù)據(jù)挖掘主要是為了幫助商業(yè)用戶處理大量存在的數(shù)據(jù)，發(fā)現(xiàn)其后隱含的規(guī)律性，同時將其模型化，來完成輔助決策的作用。它要求從大量的、不完全的、有噪聲的、模糊的和隨機的數(shù)據(jù)中，提取人們事先不知道的但又是潛在有用的信息和知識。數(shù)據(jù)挖掘的過程有時也叫知識發(fā)現(xiàn)的過程。

而電子商務中的數(shù)據(jù)挖掘即Web挖掘，是利用數(shù)據(jù)挖掘技術從www的資源(即Web文檔)和行為(即We服務)中自動發(fā)現(xiàn)并提取感興趣的、有用的模式和隱含的信息，它是一項綜合技術涉及到Internet技術學、人工智能、計算機語言、信息學、統(tǒng)計學等多個領域。

二、何謂數(shù)據(jù)挖掘及方法

確切地說，數(shù)據(jù)挖掘(Data Mining)，又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)(Knowledge Discovery in Database,KDD)，是指從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取隱含的、未知的、非平凡的及有潛在應用價值的信息或模式。它融合了數(shù)據(jù)庫、人工智能、機器學習、統(tǒng)計學等多個領域的理論和技術。比較典型的數(shù)據(jù)挖掘方法有關聯(lián)分析、序列模式分析、分類分析、聚類分析等。它們可以應用到以客戶為中心的企業(yè)決策分析和管理的各個不同領域和階段。

1.關聯(lián)分析。關聯(lián)分析，即利用關聯(lián)規(guī)則進行數(shù)據(jù)挖掘。關聯(lián)分析的目的是挖掘隱藏在數(shù)據(jù)間的相互關系，它能發(fā)現(xiàn)數(shù)據(jù)庫中形如”90%的顧客在一次購買活動中購買商品A的同時購買商品B”之類的知識。

2.序列模式分析。序列模式分析和關聯(lián)分析相似，但側重點在于分析數(shù)據(jù)間的前后序列關系。它能發(fā)現(xiàn)數(shù)據(jù)庫中形如”在某一段時間內，顧客購買商品A，接著購買商品B，而后購買商品C，即序列A→B→C出現(xiàn)的頻度較高”之類的知識，序列模式分析描述的問題是:在給定交易序列數(shù)據(jù)庫中，每個序列是按照交易時間排列的一組交易集，挖掘序列函數(shù)作用在這個交易序列數(shù)據(jù)庫上，返回該數(shù)據(jù)庫中出現(xiàn)的高頻序列。在進行序列模式分析時，同樣也需要由用戶輸入最小置信度C和最小支持度S。

3.分類分析。設有一個數(shù)據(jù)庫和一組具有不同特征的類別(標記)，該數(shù)據(jù)庫中的每一個②

記錄都賦予一個類別的標記，這樣的數(shù)據(jù)庫稱為示例數(shù)據(jù)庫或訓練集。分類分析就是通過分析示例數(shù)據(jù)庫中的數(shù)據(jù)，為每個類別做出準確的描述或建立分析模型或挖掘出分類規(guī)則，然后用這個分類規(guī)則對其他數(shù)據(jù)庫中的記錄進行分類。

4.聚類分析。聚類分析輸入的是一組未分類記錄，并且這些記錄應分成幾類事先也不知道，通過分析數(shù)據(jù)庫中的記錄數(shù)據(jù)，根據(jù)一定的分類規(guī)則，合理地劃分記錄集合，確定每個記錄所在類別。它所采用的分類規(guī)則是由聚類分析工具決定的。采用不同的聚類方法，對于相同的記錄集合可能有不同的劃分結果。

應用數(shù)據(jù)挖掘技術，較為理想的起點就是從一個數(shù)據(jù)倉庫開始，數(shù)據(jù)挖掘可以直接跟蹤數(shù)據(jù)并輔助用戶快速做出商業(yè)決策，用戶還可以在更新數(shù)據(jù)的時候不斷發(fā)現(xiàn)更好的行為模式，并將其運用于未來的決策當中。

三、選擇數(shù)據(jù)挖掘技術的兩個重要依據(jù)。

數(shù)據(jù)挖掘使用的技術很多，其中主要包括統(tǒng)計方法、機器學習方法、和神經網絡方法和數(shù)據(jù)庫方法。統(tǒng)計方法可細分為回歸分析、判別分析、聚類分析、探索性分析等。機器學習方法可細分為歸納學習方法（決策樹、規(guī)則歸納）、基于范例學習、遺傳算法等。神經網絡方法可細分為錢箱神經網絡（BP算法）、自組織神經網絡等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向屬性的歸納方法。由于每一種數(shù)據(jù)挖掘技術都有其自身的特點和實現(xiàn)的步驟，對數(shù)據(jù)的形式有具體的要求，并且與具體的應用問題密切相關，因此成功的應用數(shù)據(jù)挖掘技術以達到目標過程本身就是一件很復雜的事情，本文主要從挖掘任務和可獲得的數(shù)據(jù)兩個角度來討論對數(shù)據(jù)挖掘技術的選擇。

三、數(shù)據(jù)挖掘在電子商務中的應用

數(shù)據(jù)挖掘能發(fā)現(xiàn)電子商務客戶的的共性和個性的知識、必然和偶然的知識、獨立和關聯(lián)的知識、現(xiàn)實和預測的知識等，所有這些知識經過分析，能對客戶的消費行為如心理、能力、動機、需求、潛能等做出統(tǒng)計和正確地分析，為管理者提供決策依據(jù)。具體應用如下：

1.分類與預測方法在電子商務中的應用。在電子商務活動中，分類是一項非常重要的任務，也是應用最多的技術。分類的目的是構造一個分類函數(shù)或分類模型，通常稱作分類器。分類器的構造方法通常由統(tǒng)計方法、機器學習方法、神經網絡方法等。這些方法能把數(shù)據(jù)庫中的數(shù)據(jù)映射到給定類別中某一個，以便用于預測，也就是利用歷史數(shù)據(jù)記錄，自動推導出給定數(shù)據(jù)的推廣描述，從而對未來數(shù)據(jù)進行預測。

2.聚類方法在電子商務中的應用。聚類是把一組個體按照相似性原則歸成若干類別。對電子商務來說，客戶聚類可以對市場細分理論提供有力的支持。市場細分的目的是使得屬于同一類別的個體之間的距離盡可能小，而不同類別的個體之間的距離盡可能大，通過對聚類的客戶特征的提取，電子商務網站可以為客戶提供個性化的服務。

3.數(shù)據(jù)抽取方法在電子商務中的應用。數(shù)據(jù)抽取的目的是對數(shù)據(jù)進行濃縮，給出它的緊湊描述，如求和值、平均值、方差值、等統(tǒng)計值、或者用直方圖、餅狀圖等圖形方式表示，更主要的是他從數(shù)據(jù)泛化的角度來討論數(shù)據(jù)總結。數(shù)據(jù)泛化是一種把最原始、最基本的信息數(shù)據(jù)從低層次抽象到高層次上的過程。可采用多維數(shù)據(jù)分析方法和面向屬性的歸納方法。在電子商務活動中，采用維數(shù)據(jù)分析方法進行數(shù)據(jù)抽取，他針對的是電子商務活動中的客戶數(shù)據(jù)倉庫。在數(shù)據(jù)分析中經常要用到諸如求和、總計、平均、最大、最小等匯集操作，這類操作的計算量特別大，可把匯集操作結果預先計算并存儲起來，以便用于決策支持系統(tǒng)使用。

4.關聯(lián)規(guī)則在電子商務中的應用。管理部門可以收集存儲大量的售貨數(shù)據(jù)和客戶資料，對這些歷史數(shù)據(jù)進行分析并發(fā)現(xiàn)關聯(lián)規(guī)則。如分析網上顧客的購買行為，幫助管理者規(guī)劃市場，確定商品的種類、價格、質量等。通常關聯(lián)規(guī)則有兩種：有意義的關聯(lián)規(guī)則和泛化關聯(lián)規(guī)則，有意義的關聯(lián)規(guī)則，即滿足最小支持度和最小可信度的規(guī)則。最小支持度，它表示一組對象在統(tǒng)計意義上的需滿足的最低程度，如電子商務活動中的客戶數(shù)量、客戶消費能力、消費方式等。后者即用戶規(guī)定的關聯(lián)規(guī)則的最低可靠度。第二是泛化規(guī)則，這種規(guī)則更實用，因為研究對象存在一種層次關系，如面包、蛋糕屬西點類，而西點又屬于食品類，有了層次關系后，可以幫助發(fā)現(xiàn)更多的有意義的規(guī)則。

5、優(yōu)化企業(yè)資源

節(jié)約成本是企業(yè)盈利的關鍵?；跀?shù)據(jù)挖掘技術，實時、全面、準確地掌握企業(yè)資源信息，通過分析歷史的財務數(shù)據(jù)、庫存數(shù)據(jù)和交易數(shù)據(jù), 可以發(fā)現(xiàn)企業(yè)資源消耗的關鍵點和主要活動的投入產出比例, 從而為企業(yè)資源優(yōu)化配置提供決策依據(jù), 例如降低庫存、提高庫存周轉率、提高資金使用率等。通過對Web數(shù)據(jù)挖掘，快速提取商業(yè)信息，使企業(yè)準確地把握市場動態(tài)，極大地提高企業(yè)對市場變化的響應能力和創(chuàng)新能力，使企業(yè)最大限度地利用人力資源、物質資源和信息資源，合理協(xié)調企業(yè)內外部資源的關系，產生最佳的經濟效益。促進企業(yè)發(fā)展的科學化、信息化和智能化。

例如:美國運通公司(American Express)有一個用于記錄信用卡業(yè)務的數(shù)據(jù)庫，數(shù)據(jù)量達到54億字符，并仍在隨著業(yè)務進展不斷更新。運通公司通過對這些數(shù)據(jù)進行挖掘，制定了“關聯(lián)結算(Relation ship Billing)優(yōu)惠”的促銷策略，即如果一個顧客在一個商店用運通卡購買一套時裝，那么在同一個商店再買一雙鞋，就可以得到比較大的折扣，這樣既可以增加商店的銷售量，也可以增加運通卡在該商店的使用率。

6、管理客戶數(shù)據(jù)

隨著“以客戶為中心”的經營理念的不斷深入人心, 分析客戶、了解客戶并引導客戶的需求已成為企業(yè)經營的重要課題。基于數(shù)據(jù)挖掘技術，企業(yè)將最大限度地利用客戶資源，開展客戶行為的分析與預測，對客戶進行分類。有助于客戶盈利能力分析，尋找潛在的有價值的客戶，開展個性化服務，提高客戶的滿意度和忠誠度。通過Web資源的挖掘，了解客戶的購買習慣和興趣，從而改善網站結構設計，推出滿足不同客戶的個性化網頁。利用數(shù)據(jù)挖掘可以有效地獲得客戶。比如通過數(shù)據(jù)挖掘可以發(fā)現(xiàn)購買某種商品的消費者是男性還是女性,學歷、收入如何, 有什么愛好,是什么職業(yè)等等。甚至可以發(fā)現(xiàn)不同的人在購買該種商品的相關商品后多長時間有可能購買該種商品, 以及什么樣的人會購買什么型號的該種商品等等。在采用了數(shù)據(jù)挖掘后, 針對目標客戶發(fā)送的廣告的有效性和回應率將得到大幅度的提高, 推銷的成本將大大降低。同時，在客戶數(shù)據(jù)挖掘的基礎上，企業(yè)可以發(fā)現(xiàn)重點客戶和評價市場性能，制定個性化營銷策略，拓寬銷售渠道和范圍，為企業(yè)制定生產策略和發(fā)展規(guī)劃提供科學的依據(jù)。通過呼叫中心優(yōu)化與客戶溝通的渠道，提高對客戶的響應效率和服務質量，促

①進客戶關系管理的自動化和智能化。

三、結束語

電子商務是現(xiàn)代信息技術發(fā)展的必然結果，也是未來商業(yè)運作模式的必然選擇。利用數(shù)據(jù)挖掘技術，充分發(fā)揮企業(yè)的獨特優(yōu)勢，促進管理創(chuàng)新和技術創(chuàng)新，使企業(yè)在在電子商務的潮流中立于不敗之地。隨著數(shù)據(jù)挖掘算法的不斷發(fā)展和成熟，數(shù)據(jù)挖掘一定會有更加廣闊的應用前景。

參考文獻：

(1)《淺談數(shù)據(jù)挖掘在電子商務中的運用》 鐘連福；

(2)《電子商務中商業(yè)數(shù)據(jù)的挖掘方法》 中國電子商務研究中心；

(3)《在電子商務中如何正確有使用數(shù)據(jù)挖掘技術》 俠名；

(4)《曾貞:數(shù)據(jù)挖掘在電子商務中的應用》 甘肅農業(yè),2004（7）；

(5)《馮艷王堅強:數(shù)據(jù)挖掘在電子商務上的應用》 2002（3）；

(6)《呂延杰徐華飛:中國電子商務發(fā)展研究報告》北京郵電大學出版社 ；

(7)《數(shù)據(jù)挖掘與電子商務》 鄧鯤鵬，周延杰，嚴瑜筱。①

第五篇：數(shù)據(jù)倉庫與數(shù)據(jù)挖掘學習心得.

數(shù)據(jù)倉庫與數(shù)據(jù)挖掘學習心得

通過數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的這門課的學習,掌握了數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的一些基礎知識和基本概念,了解了數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別。下面談談我對數(shù)據(jù)倉庫與數(shù)據(jù)挖掘學習心得以及閱讀相關方面的論文的學習體會。

《淺談數(shù)據(jù)倉庫與數(shù)據(jù)挖掘》這篇論文主要是介紹數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的的一些基本概念。數(shù)據(jù)倉庫是支持管理決策過程的、面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合。主題是數(shù)據(jù)數(shù)據(jù)歸類的標準,每個主題對應一個客觀分析的領域,他可為輔助決策集成多個部門不同系統(tǒng)的大量數(shù)據(jù)。數(shù)據(jù)倉庫包含了大量的歷史數(shù)據(jù),經集成后進入數(shù)據(jù)倉庫的數(shù)據(jù)極少更新的。數(shù)據(jù)倉庫內的數(shù)據(jù)時間一般為5年至10年,主要用于進行時間趨勢分析。數(shù)據(jù)倉庫的數(shù)據(jù)量很大。

數(shù)據(jù)倉庫的特點如下:

1、數(shù)據(jù)倉庫是面向主題的;

2、數(shù)據(jù)倉庫是集成的,數(shù)據(jù)倉庫的數(shù)據(jù)有來自于分散的操作型數(shù)據(jù),將所需數(shù)據(jù)從原來的數(shù)據(jù)中抽取出來,進行加工與集成,統(tǒng)一與綜合之后才能進入數(shù)據(jù)倉庫;

3、數(shù)據(jù)倉庫是不可更新的,數(shù)據(jù)倉庫主要是為決策分析提供數(shù)據(jù),所涉及的操作主要是數(shù)據(jù)的查詢;

4、數(shù)據(jù)倉庫是隨時間而變化的,傳統(tǒng)的關系數(shù)據(jù)庫系統(tǒng)比較適合處理格式化的數(shù)據(jù),能夠較好的滿足商業(yè)商務處理的需求,它在商業(yè)領域取得了巨大的成功。

作為一個系統(tǒng),數(shù)據(jù)倉庫至少包括3個基本的功能部分:數(shù)據(jù)獲取:數(shù)據(jù)存儲和管理;信息訪問。

數(shù)據(jù)挖掘的定義:數(shù)據(jù)挖掘從技術上來說是從大量的、不完全的、有噪音的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識的過程。

數(shù)據(jù)開采技術的目標是從大量數(shù)據(jù)中,發(fā)現(xiàn)隱藏于其后的規(guī)律或數(shù)據(jù)間的的關系,從而服務于決策。數(shù)據(jù)挖掘的主要任務有廣義知識;分類和預測;關聯(lián)分析;聚類。

《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術在金融信息化中的應用》論文主要通過介紹數(shù)據(jù)額倉庫與數(shù)據(jù)挖掘的起源、定義以及特征的等方面的介紹引出其在金融信息化中的應用。在金融信息化的應用方面,金融機構利用信息技術從過去積累的、海量的、以不同形式存儲的數(shù)據(jù)資料里提取隱藏著的許多

重要信息,并對它們進行高層次的分析,發(fā)現(xiàn)和挖掘出這些數(shù)據(jù)間的整體特征描述及發(fā)展趨勢預測,找出對決策有價值的信息,以防范銀行的經營風險、實現(xiàn)銀行科技管理及銀行科學決策。

現(xiàn)在銀行信息化正在以業(yè)務為中心向客戶為中心轉變6銀行信息化不僅是數(shù)據(jù)的集中整合,而且要在數(shù)據(jù)集中和整合的基礎上向以客為中心的方向轉變。銀行信息化要適應競爭環(huán)境客戶需求的變化,創(chuàng)造性地用信息技術對傳統(tǒng)過程進行集成和優(yōu)化,實現(xiàn)信息共享、資源整合綜合利用,把銀行的各項作用統(tǒng)一起來,優(yōu)勢互補統(tǒng)一調配各種資源,為銀行的客戶開發(fā)、服務、綜理財、管理、風險防范創(chuàng)立堅實的基礎,從而適應日益發(fā)展的數(shù)據(jù)技術需要,全面提高銀行競爭力,為金融創(chuàng)新和提高市場反映能力服務。沃爾瑪利用信息技術建設的數(shù)據(jù)倉庫,在1997年圣誕節(jié)進行市場技術建立的數(shù)據(jù)倉庫,即分析顧客最可能一起購買那些商品,結果產生了經典的“啤酒與尿布”的故事,這便是借助于數(shù)據(jù)倉庫系統(tǒng)