第一篇：大數(shù)據(jù)學(xué)習(xí)路徑2

大數(shù)據(jù)經(jīng)典學(xué)習(xí)路線（及供參考）

1.Linux基礎(chǔ)和分布式集群技術(shù) 學(xué)完此階段可掌握的核心能力：

熟練使用Linux，熟練安裝Linux上的軟件，了解熟悉負(fù)載均衡、高可靠等集群相關(guān)概念，搭建互聯(lián)網(wǎng)高并發(fā)、高可靠的服務(wù)架構(gòu)；

學(xué)完此階段可解決的現(xiàn)實(shí)問(wèn)題：

搭建負(fù)載均衡、高可靠的服務(wù)器集群，可以增大網(wǎng)站的并發(fā)訪問(wèn)量，保證服務(wù)不間斷地對(duì)外服務(wù)；

學(xué)完此階段可擁有的市場(chǎng)價(jià)值：

具備初級(jí)程序員必要具備的Linux服務(wù)器運(yùn)維能力。

1.內(nèi)容介紹：

在大數(shù)據(jù)領(lǐng)域，使用最多的操作系統(tǒng)就是Linux系列，并且?guī)缀醵际欠植际郊骸Ｔ撜n程為大數(shù)據(jù)的基礎(chǔ)課程，主要介紹Linux操作系統(tǒng)、Linux常用命令、Linux常用軟件安裝、Linux網(wǎng)絡(luò)、防火墻、Shell編程等。

2.案例：搭建互聯(lián)網(wǎng)高并發(fā)、高可靠的服務(wù)架構(gòu)。

2.離線計(jì)算系統(tǒng)課程階段

1.離線計(jì)算系統(tǒng)課程階段

HADOOP核心技術(shù)框架

學(xué)完此階段可掌握的核心能力：

1、通過(guò)對(duì)大數(shù)據(jù)技術(shù)產(chǎn)生的背景和行業(yè)應(yīng)用案例了解hadoop的作用；

2、掌握hadoop底層分布式文件系統(tǒng)HDFS的原理、操作和應(yīng)用開(kāi)發(fā)；

3、掌握MAPREDUCE分布式運(yùn)算系統(tǒng)的工作原理和分布式分析應(yīng)用開(kāi)發(fā)；

4、掌握HIVE數(shù)據(jù)倉(cāng)庫(kù)工具的工作原理及應(yīng)用開(kāi)發(fā)。

學(xué)完此階段可解決的現(xiàn)實(shí)問(wèn)題：

1、熟練搭建海量數(shù)據(jù)離線計(jì)算平臺(tái)；

2、根據(jù)具體業(yè)務(wù)場(chǎng)景設(shè)計(jì)、實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)方案；

3、根據(jù)具體數(shù)據(jù)分析需求實(shí)現(xiàn)基于mapreduce的分布式運(yùn)算程序；

學(xué)完此階段可擁有的市場(chǎng)價(jià)值：

具備企業(yè)數(shù)據(jù)部初級(jí)應(yīng)用開(kāi)發(fā)人員的能力

1.1 HADOOP快速入門(mén)

1.1.1 hadoop知識(shí)背景

什么是hadoop、hadoop產(chǎn)生背景、hadoop在大數(shù)據(jù)云計(jì)算中的位置和關(guān)系、國(guó)內(nèi)hadoop的就業(yè)情況分析及課程大綱介紹

國(guó)內(nèi)外hadoop應(yīng)用案例介紹

分布式系統(tǒng)概述、hadoop生態(tài)圈及各組成部分的簡(jiǎn)介

1.1.2 HIVE快速入門(mén)

hive基本介紹、hive的使用、數(shù)據(jù)倉(cāng)庫(kù)基本知識(shí)

1.1.3 數(shù)據(jù)分析流程案例

web點(diǎn)擊流日志數(shù)據(jù)挖掘的需求分析、數(shù)據(jù)來(lái)源、處理流程、數(shù)據(jù)分析結(jié)果導(dǎo)出、數(shù)據(jù)展現(xiàn)

1.1.4 hadoop數(shù)據(jù)分析系統(tǒng)集群搭建

集群簡(jiǎn)介、服務(wù)器介紹、網(wǎng)絡(luò)環(huán)境設(shè)置、服務(wù)器系統(tǒng)環(huán)境設(shè)置、JDK環(huán)境安裝、hadoop集群安裝部署、集群?jiǎn)?dòng)、集群狀態(tài)測(cè)試

HIVE的配置安裝、HIVE啟動(dòng)、HIVE使用測(cè)試

1.2 HDFS詳解

1.2.1 HDFS的概念和特性

什么是分布式文件系統(tǒng)、HDFS的設(shè)計(jì)目標(biāo)、HDFS與其他分布式存儲(chǔ)系統(tǒng)的優(yōu)劣勢(shì)比較、HDFS的適用場(chǎng)景

1.2.2 HDFS的shell操作

HDFS命令行客戶(hù)端啟動(dòng)、HDFS命令行客戶(hù)端的基本操作、命令行客戶(hù)端支持的常用命令、常用參數(shù)介紹

1.2.3 HDFS的工作機(jī)制

HDFS系統(tǒng)的模塊架構(gòu)、HDFS寫(xiě)數(shù)據(jù)流程、HDFS讀數(shù)據(jù)流程

NAMENODE工作機(jī)制、元數(shù)據(jù)存儲(chǔ)機(jī)制、元數(shù)據(jù)手動(dòng)查看、元數(shù)據(jù)checkpoint機(jī)制、NAMENODE故障恢復(fù)、DATANODE工作機(jī)制、DATANODE動(dòng)態(tài)增減、全局?jǐn)?shù)據(jù)負(fù)載均衡

1.2.4 HDFS的java應(yīng)用開(kāi)發(fā)

搭建開(kāi)發(fā)環(huán)境、獲取api中的客戶(hù)端對(duì)象、HDFS的java客戶(hù)端所具備的常用功能、HDFS客戶(hù)端對(duì)文件的常用操作實(shí)現(xiàn)、利用HDFS的JAVA客戶(hù)端開(kāi)發(fā)數(shù)據(jù)采集和存儲(chǔ)系統(tǒng)

1.3 MAPREDUCE詳解

1.3.1 MAPREDUCE快速上手

為什么需要MAPREDUCE、MAPREDUCE程序運(yùn)行演示、MAPREDUCE編程示例及編程規(guī)范、MAPREDUCE程序運(yùn)行模式、MAPREDUCE程序調(diào)試debug的幾種方式

1.3.2 MAPREDUCE程序的運(yùn)行機(jī)制

MAPREDUCE程序運(yùn)行流程解析、MAPTASK并發(fā)數(shù)的決定機(jī)制、MAPREDUCE中的combiner組件應(yīng)用、MAPREDUCE中的序列化框架及應(yīng)用、MAPREDUCE中的排序、MAPREDUCE中的自定義分區(qū)實(shí)現(xiàn)、MAPREDUCE的shuffle機(jī)制、MAPREDUCE利用數(shù)據(jù)壓縮進(jìn)行優(yōu)化、MAPREDUCE程序與YARN之間的關(guān)系、MAPREDUCE參數(shù)優(yōu)化

通過(guò)以上各組件的詳解，深刻理解MAPREDUCE的核心運(yùn)行機(jī)制，從而具備靈活應(yīng)對(duì)各種復(fù)雜應(yīng)用場(chǎng)景的能力

MAPREDUCE實(shí)戰(zhàn)編程案例：通過(guò)一個(gè)實(shí)戰(zhàn)案例來(lái)熟悉復(fù)雜MAPREDUCE程序的開(kāi)發(fā)。該程序是從nginx服務(wù)器產(chǎn)生的訪問(wèn)服務(wù)器中計(jì)算出每個(gè)訪客的訪問(wèn)次數(shù)及每次訪問(wèn)的時(shí)長(zhǎng)。原始數(shù)據(jù)樣例如下：

通過(guò)一系列的MAPREDUCE程序——清洗、過(guò)濾、訪問(wèn)次數(shù)及時(shí)間分析，最終計(jì)算出需求所要的結(jié)果，用于支撐頁(yè)面展現(xiàn)：

1.4 HIVE增強(qiáng)

1.4.1 HIVE基本概念

HIVE應(yīng)用場(chǎng)景、HIVE內(nèi)部架構(gòu)、HIVE與hadoop的關(guān)系、HIVE與傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)比、HIVE的數(shù)據(jù)存儲(chǔ)機(jī)制、HIVE的運(yùn)算執(zhí)行機(jī)制

1.4.2 HIVE基本操作

HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何實(shí)現(xiàn)高效的JOIN查詢(xún)、HIVE的內(nèi)置函數(shù)應(yīng)用、HIVE shell的高級(jí)使用方式、HIVE常用參數(shù)配置、HIVE自定義函數(shù)和TRANSFORM的使用技巧、HIVE UDF開(kāi)發(fā)實(shí)例

1.4.3 HIVE高級(jí)應(yīng)用

HIVE執(zhí)行過(guò)程分析及優(yōu)化策略、HIVE在實(shí)戰(zhàn)中的最佳實(shí)踐案例、HIVE優(yōu)化分類(lèi)詳解、HIVE實(shí)戰(zhàn)案例--數(shù)據(jù)ETL、HIVE實(shí)戰(zhàn)案例--用戶(hù)訪問(wèn)時(shí)長(zhǎng)統(tǒng)計(jì)

HIVE實(shí)戰(zhàn)案例--級(jí)聯(lián)求和報(bào)表實(shí)例：

離線數(shù)據(jù)挖掘系統(tǒng)

學(xué)完此階段可掌握的核心能力：

1、通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)知識(shí)的加強(qiáng)初步掌握數(shù)據(jù)倉(cāng)庫(kù)的核心概念和設(shè)計(jì)流程;

2、通過(guò)對(duì)HADOOP生態(tài)圈關(guān)鍵輔助工具的學(xué)習(xí)掌握hadoop分析系統(tǒng)的整合能力;

3、通過(guò)電商系統(tǒng)點(diǎn)擊流日志數(shù)據(jù)挖掘系統(tǒng)實(shí)戰(zhàn)項(xiàng)目，掌握hadoop離線數(shù)據(jù)挖掘系統(tǒng)從數(shù)據(jù)采集、入庫(kù)、分析及報(bào)表展現(xiàn)的整套流程

學(xué)完此階段可解決的現(xiàn)實(shí)問(wèn)題：

1、可根據(jù)企業(yè)具體場(chǎng)景設(shè)計(jì)海量數(shù)據(jù)分析系統(tǒng)的通用架構(gòu)

2、根據(jù)具體場(chǎng)景的特點(diǎn)有針對(duì)性地調(diào)整數(shù)據(jù)分析各環(huán)節(jié)的技術(shù)選型;

3、根據(jù)具體需求搭建起整套離線數(shù)據(jù)分析系統(tǒng);

4、簡(jiǎn)單數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì)和架構(gòu)

5、各環(huán)節(jié)具體功能模塊的開(kāi)發(fā)實(shí)現(xiàn)

學(xué)完此階段可擁有的市場(chǎng)價(jià)值：

具備企業(yè)數(shù)據(jù)部中高級(jí)應(yīng)用開(kāi)發(fā)和初級(jí)架構(gòu)師能力

2.1 數(shù)據(jù)倉(cāng)庫(kù)增強(qiáng)

2.1.1 數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)模型入門(mén)

什么是數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)的意義、數(shù)據(jù)倉(cāng)庫(kù)核心概念、數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)

2.1.2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

建立數(shù)據(jù)倉(cāng)庫(kù)的步驟、數(shù)據(jù)的抽取、數(shù)據(jù)的轉(zhuǎn)換、數(shù)據(jù)的加載、什么是數(shù)據(jù)模型、數(shù)據(jù)模型的常見(jiàn)類(lèi)型、如何設(shè)計(jì)數(shù)據(jù)模型、如何選擇數(shù)據(jù)建模的架構(gòu)

典型數(shù)據(jù)模型——星型建模實(shí)例

2.1.3 數(shù)據(jù)倉(cāng)庫(kù)建模樣例

業(yè)務(wù)建模、領(lǐng)域建模、邏輯建模、物理建模

web點(diǎn)擊流日志分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)實(shí)戰(zhàn)：

通過(guò)對(duì)數(shù)據(jù)特點(diǎn)和業(yè)務(wù)需求的分析，關(guān)系梳理，設(shè)計(jì)出一個(gè)主題明確、層次合理的數(shù)據(jù)模型

2.2 離線輔助系統(tǒng)

2.2.1 數(shù)據(jù)采集系統(tǒng)

數(shù)據(jù)采集概念介紹

FLUME日志采集框架介紹、FLUME工作機(jī)制、FLUME核心組件、FLUME參數(shù)配置說(shuō)明、FLUME采集nginx日志實(shí)戰(zhàn)案例

2.2.2 任務(wù)調(diào)度系統(tǒng)

任務(wù)調(diào)度系統(tǒng)概念介紹、常用任務(wù)調(diào)度工具比較、OOZIE介紹、OOZIE核心概念、OOZIE的配置說(shuō)明、OOIZE實(shí)現(xiàn)mapreduce/hive等任務(wù)調(diào)度實(shí)戰(zhàn)案例

2.2.3 數(shù)據(jù)導(dǎo)出

數(shù)據(jù)導(dǎo)出概念介紹、SQOOP基礎(chǔ)知識(shí)、SQOOP原理及配置說(shuō)明、SQOOP數(shù)據(jù)導(dǎo)入實(shí)戰(zhàn)、SQOOP數(shù)據(jù)導(dǎo)出實(shí)戰(zhàn)、SQOOP批量作業(yè)操作

2.3 web點(diǎn)擊流日志分析系統(tǒng)實(shí)戰(zhàn)項(xiàng)目

2.3.1 項(xiàng)目介紹

1.在PC時(shí)代，營(yíng)銷(xiāo)的核心是購(gòu)買(mǎi)，在移動(dòng)互聯(lián)網(wǎng)時(shí)代，其核心是如何實(shí)現(xiàn)用戶(hù)個(gè)性化互動(dòng)，對(duì)用戶(hù)傳播更為精準(zhǔn)化的內(nèi)容，而實(shí)現(xiàn)這一核心的基礎(chǔ)就是對(duì)數(shù)據(jù)的管理和分析——數(shù)據(jù)驅(qū)動(dòng)型商業(yè)模型。

2.各類(lèi)互聯(lián)網(wǎng)服務(wù)產(chǎn)品(如網(wǎng)站、APP)都可以通過(guò)前端技術(shù)獲取用戶(hù)的詳細(xì)行為數(shù)據(jù)(如訪問(wèn)的頁(yè)面，點(diǎn)擊的區(qū)域、登陸的頻次、注冊(cè)行為、購(gòu)買(mǎi)的行為等)，將這些點(diǎn)擊流日志數(shù)據(jù)與后臺(tái)商業(yè)數(shù)據(jù)綜合起來(lái)，就可以挖掘?qū)具\(yùn)營(yíng)決策意義非凡的商業(yè)價(jià)值。

3.本項(xiàng)目則是一個(gè)用大數(shù)據(jù)技術(shù)平臺(tái)實(shí)現(xiàn)的點(diǎn)擊流日志分析數(shù)據(jù)挖掘系統(tǒng)，項(xiàng)目?jī)?nèi)容涵蓋一個(gè)典型數(shù)據(jù)挖掘系統(tǒng)中，包括需求分析、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)清洗、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、ETL、業(yè)務(wù)模型統(tǒng)計(jì)分析、數(shù)據(jù)可視化的全部流程。

2.3.2 需求分析

什么是點(diǎn)擊流日志、點(diǎn)擊流日志的商業(yè)價(jià)值、點(diǎn)擊流日志分析需求

業(yè)務(wù)模型指標(biāo)體系設(shè)計(jì)——流量分析、來(lái)源分析、受訪分析、訪客分析、轉(zhuǎn)化率分析

2.3.3 系統(tǒng)設(shè)計(jì)及開(kāi)發(fā)

1.系統(tǒng)架構(gòu)設(shè)計(jì)

2.數(shù)據(jù)采集設(shè)計(jì)及開(kāi)發(fā)——數(shù)據(jù)格式、數(shù)據(jù)內(nèi)容分析、數(shù)據(jù)生成規(guī)律、采集系統(tǒng)技術(shù)選型解析、FLUME采集系統(tǒng)實(shí)現(xiàn)

3.數(shù)據(jù)存儲(chǔ)設(shè)計(jì)及開(kāi)發(fā)——存儲(chǔ)技術(shù)選型、存儲(chǔ)業(yè)務(wù)流程解析、存儲(chǔ)目錄規(guī)劃及文件命名規(guī)則、小文件合并實(shí)現(xiàn)

4.數(shù)據(jù)統(tǒng)計(jì)設(shè)計(jì)及開(kāi)發(fā)——數(shù)據(jù)預(yù)處理、數(shù)據(jù)加載、原始數(shù)據(jù)表的創(chuàng)建、數(shù)據(jù)入庫(kù)、數(shù)據(jù)ETL 5.報(bào)表統(tǒng)計(jì)設(shè)計(jì)——數(shù)據(jù)模型設(shè)計(jì)、事實(shí)表設(shè)計(jì)、維度表梳理

6.業(yè)務(wù)指標(biāo)設(shè)計(jì)及開(kāi)發(fā)——PV統(tǒng)計(jì)(時(shí)間維度、終端維度、地域維度)、來(lái)訪次數(shù)統(tǒng)計(jì)(時(shí)間維度、地域維度、終端維度)、獨(dú)立訪客統(tǒng)計(jì)(時(shí)間維度、終端維度、地域維度)、受訪頁(yè)面統(tǒng)計(jì)(時(shí)間維度、欄目維度)、頁(yè)面熱點(diǎn)圖、轉(zhuǎn)化率分析、來(lái)源關(guān)鍵詞分析、來(lái)源搜索引擎分析、來(lái)源廣告推廣分析

2.3.4 任務(wù)調(diào)度系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

任務(wù)調(diào)度單元實(shí)現(xiàn)、各環(huán)節(jié)任務(wù)運(yùn)行頻次及依賴(lài)關(guān)系梳理、工作流設(shè)計(jì)及實(shí)現(xiàn)、工作流定義配置上傳部署、工作流啟動(dòng)即狀態(tài)監(jiān)控

2.3.5 數(shù)據(jù)可視化——結(jié)果報(bào)表展現(xiàn)

1.hive分析結(jié)果使用sqoop導(dǎo)出到msyql數(shù)據(jù)庫(kù) 2.報(bào)表展現(xiàn)系統(tǒng)技術(shù)選型：

后臺(tái)使用spingmvc + spring + mybatis 前端頁(yè)面使用全靜態(tài)異步刷新技術(shù)Jquery + Echarts 3.web展現(xiàn)程序架構(gòu)搭建，使用maven構(gòu)建項(xiàng)目工程 4.web展現(xiàn)程序頁(yè)面設(shè)計(jì)開(kāi)發(fā)：原型頁(yè)面設(shè)計(jì)、js代碼開(kāi)發(fā) 5.最終實(shí)現(xiàn)以下數(shù)據(jù)可視化效果：

(1)流量概況可視化效果：

(2)來(lái)源地域分析可視化效果：

(3)來(lái)源類(lèi)型分析可視化效果：

3.Storm實(shí)時(shí)計(jì)算部分階段

實(shí)時(shí)課程分為兩個(gè)部分：流式計(jì)算核心技術(shù)和流式計(jì)算計(jì)算案例實(shí)戰(zhàn)。

1.流式計(jì)算核心技術(shù)

流式計(jì)算核心技術(shù)主要分為兩個(gè)核心技術(shù)點(diǎn)：Storm和Kafka，學(xué)完此階段能夠掌握Storm開(kāi)發(fā)及底層原理、Kafka的開(kāi)發(fā)及底層原理、Kafka與Storm集成使用。具備開(kāi)發(fā)基于storm實(shí)時(shí)計(jì)算程序的技術(shù)能力。

學(xué)完此階段可掌握的核心能力：

(1)、理解實(shí)時(shí)計(jì)算及應(yīng)用場(chǎng)景

(2)、掌握Storm程序的開(kāi)發(fā)及底層原理、掌握Kafka消息隊(duì)列的開(kāi)發(fā)及底層原理(3)、具備Kafka與Storm集成使用的能力

學(xué)完此階段可解決的現(xiàn)實(shí)問(wèn)題：

具備開(kāi)發(fā)基于storm的實(shí)時(shí)計(jì)算程序的能力

學(xué)完此階段可擁有的市場(chǎng)價(jià)值：

具備實(shí)時(shí)計(jì)算開(kāi)發(fā)的技術(shù)能力、但理解企業(yè)業(yè)務(wù)的能力不足

1.1、流式計(jì)算一般結(jié)構(gòu)

2011年在海量數(shù)據(jù)處理領(lǐng)域，Hadoop是人們津津樂(lè)道的技術(shù)，Hadoop不僅可以用來(lái)存儲(chǔ)海量數(shù)據(jù)，還以用來(lái)計(jì)算海量數(shù)據(jù)。因?yàn)槠涓咄掏?、高可靠等特點(diǎn)，很多互聯(lián)網(wǎng)公司都已經(jīng)使用Hadoop來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，高頻使用并促進(jìn)了Hadoop生態(tài)圈的各項(xiàng)技術(shù)的發(fā)展。一般來(lái)講，根據(jù)業(yè)務(wù)需求，數(shù)據(jù)的處理可以分為離線處理和實(shí)時(shí)處理，在離線處理方面Hadoop提供了很好的解決方案，但是針對(duì)海量數(shù)據(jù)的實(shí)時(shí)處理卻一直沒(méi)有比較好的解決方案。就在人們翹首以待的時(shí)間節(jié)點(diǎn)，storm橫空出世，與生俱來(lái)的分布式、高可靠、高吞吐的特性，橫掃市面上的一些流式計(jì)算框架，漸漸的成為了流式計(jì)算的首選框架。如果龐麥郎在的話，他一定會(huì)說(shuō)，這就是我要的滑板鞋!

上圖是流式分析的一般架構(gòu)圖，抽象出四個(gè)步驟就是數(shù)據(jù)采集、數(shù)據(jù)緩沖、數(shù)據(jù)處理、數(shù)據(jù)輸出。一般情況下，我們采用Flume+kafka+Storm+Redis的結(jié)構(gòu)來(lái)進(jìn)行流式數(shù)據(jù)分析。實(shí)時(shí)部分的課程主要是針對(duì)Kafka、Storm進(jìn)行學(xué)習(xí)

1.2、流式計(jì)算可以用來(lái)干什么

一淘-實(shí)時(shí)分析系統(tǒng)：實(shí)時(shí)分析用戶(hù)的屬性，并反饋給搜索引擎。最初，用戶(hù)屬性分析是通過(guò)每天在云梯上定時(shí)運(yùn)行的MR job來(lái)完成的。為了滿足實(shí)時(shí)性的要求，希望能夠?qū)崟r(shí)分析用戶(hù)的行為日志，將最新的用戶(hù)屬性反饋給搜索引擎，能夠?yàn)橛脩?hù)展現(xiàn)最貼近其當(dāng)前需求的結(jié)果。

攜程-網(wǎng)站性能監(jiān)控：實(shí)時(shí)分析系統(tǒng)監(jiān)控?cái)y程網(wǎng)的網(wǎng)站性能。利用HTML5提供的performance標(biāo)準(zhǔn)獲得可用的指標(biāo)，并記錄日志。Storm集群實(shí)時(shí)分析日志和入庫(kù)。使用DRPC聚合成報(bào)表，通過(guò)歷史數(shù)據(jù)對(duì)比等判斷規(guī)則，觸發(fā)預(yù)警事件。

一個(gè)游戲新版本上線，有一個(gè)實(shí)時(shí)分析系統(tǒng)，收集游戲中的數(shù)據(jù)，運(yùn)營(yíng)或者開(kāi)發(fā)者可以在上線后幾秒鐘得到持續(xù)不斷更新的游戲監(jiān)控報(bào)告和分析結(jié)果，然后馬上針對(duì)游戲的參數(shù)和平衡性進(jìn)行調(diào)整。這樣就能夠大大縮短游戲迭代周期，加強(qiáng)游戲的生命力。

實(shí)時(shí)計(jì)算在騰訊的運(yùn)用：精準(zhǔn)推薦(廣點(diǎn)通廣告推薦、新聞推薦、視頻推薦、游戲道具推薦);實(shí)時(shí)分析(微信運(yùn)營(yíng)數(shù)據(jù)門(mén)戶(hù)、效果統(tǒng)計(jì)、訂單畫(huà)像分析);實(shí)時(shí)監(jiān)控(實(shí)時(shí)監(jiān)控平臺(tái)、游戲內(nèi)接口調(diào)用)為了更加精準(zhǔn)投放廣告，阿里媽媽后臺(tái)計(jì)算引擎需要維護(hù)每個(gè)用戶(hù)的興趣點(diǎn)(理想狀態(tài)是，你對(duì)什么感興趣，就向你投放哪類(lèi)廣告)。用戶(hù)興趣主要基于用戶(hù)的歷史行為、用戶(hù)的實(shí)時(shí)查詢(xún)、用戶(hù)的實(shí)時(shí)點(diǎn)擊、用戶(hù)的地理信息而得，其中實(shí)時(shí)查詢(xún)、實(shí)時(shí)點(diǎn)擊等用戶(hù)行為都是實(shí)時(shí)數(shù)據(jù)?？紤]到系統(tǒng)的實(shí)時(shí)性，阿里媽媽使用Storm維護(hù)用戶(hù)興趣數(shù)據(jù)，并在此基礎(chǔ)上進(jìn)行受眾定向的廣告投放。

1.3、Storm核心技術(shù)點(diǎn)

基礎(chǔ)技術(shù)點(diǎn)

linux環(huán)境準(zhǔn)備、zookeeper集群搭建、Storm集群搭建、Storm配置文件配置項(xiàng)講解、集群搭建常見(jiàn)問(wèn)題解決。

Storm練習(xí)案例

根據(jù)螞蟻金服提供的最新數(shù)據(jù)，今年雙十一的交易峰值為8.59萬(wàn)筆/秒，是去年3.85萬(wàn)筆/秒的2.23倍。這一數(shù)據(jù)也超過(guò)了6萬(wàn)筆/秒的預(yù)估。如何實(shí)時(shí)的計(jì)算訂單金額，讓公司領(lǐng)導(dǎo)層看到呢?

(圖為雙十一支付寶成交金額)

Storm基礎(chǔ)及原理

Storm常用組件和編程API：Topology、Spout、Bolt、Storm分組策略(stream groupings)、Storm項(xiàng)目maven環(huán)境搭建、使用Strom開(kāi)發(fā)一個(gè)WordCount例子、Storm程序本地模式debug、Storm消息可靠性及容錯(cuò)原理、Storm任務(wù)提交流程、Strom消息容錯(cuò)機(jī)制。

(圖為storm組件)

1.4、Kafka核心技術(shù)點(diǎn)

Storm結(jié)合消息隊(duì)列Kafka：消息隊(duì)列基本概念(Producer、Consumer、Topic、Broker等)、消息隊(duì)列Kafka使用場(chǎng)景、Storm結(jié)合Kafka編程API、Kafka負(fù)載均衡、Kafka消息存儲(chǔ)原理等。

(圖為Kafka消息隊(duì)列原理)2.流式計(jì)算案例實(shí)戰(zhàn)

實(shí)戰(zhàn)案例部分主要有三個(gè)企業(yè)實(shí)戰(zhàn)案列，分別是基于點(diǎn)擊流的日志分析系統(tǒng)、基于系統(tǒng)日志的監(jiān)控告警系統(tǒng)、基于訂單系統(tǒng)的交易風(fēng)控系統(tǒng)，三個(gè)案列是企業(yè)中的典型項(xiàng)目。學(xué)完此階段能夠獨(dú)立根據(jù)企業(yè)的業(yè)務(wù)性質(zhì)開(kāi)發(fā)相關(guān)的storm程序。

學(xué)完此階段可掌握的核心能力：

1、掌握企業(yè)核心業(yè)務(wù)需求

2、掌握實(shí)時(shí)系統(tǒng)常見(jiàn)的開(kāi)發(fā)流程及運(yùn)營(yíng)經(jīng)驗(yàn)

學(xué)完此階段可解決的現(xiàn)實(shí)問(wèn)題：

可以獨(dú)立開(kāi)發(fā)storm程序來(lái)滿足業(yè)務(wù)需求

學(xué)完此階段可擁有的市場(chǎng)價(jià)值：

熟練學(xué)習(xí)和掌握后，可滿足企業(yè)開(kāi)發(fā)的初級(jí)需求，根據(jù)市場(chǎng)反饋數(shù)據(jù)看，薪資普遍在 15000-18000元/月。

2.1、案例：流量日志分析

流量日志分析之漏斗模型：大型電商網(wǎng)站，上億規(guī)模的用戶(hù)，千萬(wàn)級(jí)別的活躍用戶(hù)，如何評(píng)估一個(gè)商品專(zhuān)題頁(yè)面的效果好不好呢?比如：瀏覽次數(shù)、加入購(gòu)物車(chē)次數(shù)、下單次數(shù)、支付次數(shù)、完成。

(圖為日志分析漏斗模型-數(shù)據(jù)部必備)流量日志分析之基礎(chǔ)數(shù)據(jù)分析：電商網(wǎng)上商品數(shù)量在千萬(wàn)級(jí)別，店鋪數(shù)量在百萬(wàn)級(jí)別，如何實(shí)時(shí)的計(jì)算一個(gè)每個(gè)商品頁(yè)的訪問(wèn)數(shù)、用戶(hù)數(shù)、來(lái)源信息等基礎(chǔ)信息呢?如何實(shí)時(shí)的計(jì)算每個(gè)店鋪的訪問(wèn)數(shù)、用戶(hù)數(shù)、來(lái)源信息等基礎(chǔ)數(shù)據(jù)呢?

(圖為頁(yè)面瀏覽分析-數(shù)據(jù)部必備)

2.2、案例：統(tǒng)一監(jiān)控告警系統(tǒng)

隨著公司業(yè)務(wù)發(fā)展，支撐公司業(yè)務(wù)的各種系統(tǒng)越來(lái)越多，為了保證公司的業(yè)務(wù)正常發(fā)展，急需要對(duì)這些線上系統(tǒng)的運(yùn)行進(jìn)行監(jiān)控，做到問(wèn)題的及時(shí)發(fā)現(xiàn)和處理，最大程度減少對(duì)業(yè)務(wù)的影響。不同業(yè)務(wù)的會(huì)有幾十上百臺(tái)服務(wù)器去支撐，大型企業(yè)可能是成千上萬(wàn)臺(tái)服務(wù)器，那么每臺(tái)服務(wù)器的硬件狀態(tài)、業(yè)務(wù)應(yīng)用狀態(tài)如何實(shí)時(shí)的監(jiān)控，做到及時(shí)發(fā)現(xiàn)，快速解決問(wèn)題呢?

(圖為企業(yè)產(chǎn)生日志的系統(tǒng)清單)

統(tǒng)一監(jiān)控系統(tǒng)觸發(fā)的短信告警

統(tǒng)一監(jiān)控系統(tǒng)觸發(fā)的郵件告警

2.3、案例：交易風(fēng)控系統(tǒng)

電子商務(wù)是以互聯(lián)網(wǎng)絡(luò)為平臺(tái)的貿(mào)易新模式，它的一個(gè)最大特點(diǎn)是強(qiáng)調(diào)參加交易的各方和所合作的伙伴都要通過(guò)Internet密切結(jié)合起來(lái)，共同從事在網(wǎng)絡(luò)環(huán)境下的商業(yè)電子化應(yīng)用。用戶(hù)信息容易受到計(jì)算機(jī)病毒、黑客的攻擊，商業(yè)信息和數(shù)據(jù)易于搭截偵聽(tīng)、口令試探和竊取，為了防止用戶(hù)信息異常給商家和用戶(hù)帶來(lái)不必要的損失，企業(yè)期望針對(duì)用戶(hù)的訂單進(jìn)行分析，對(duì)觸發(fā)規(guī)則的訂單進(jìn)行風(fēng)險(xiǎn)預(yù)警，在必要情況下進(jìn)行攔截及鎖定訂單。

(圖為訂單異常攔截)4.Spark內(nèi)存計(jì)算階段

學(xué)完此階段可掌握的核心能力：

1.掌握Scala函數(shù)式編程特性，熟練使用Scala開(kāi)發(fā)程序，可以看懂其他用Scala編寫(xiě)源碼。2.搭建Spark集群、使用Scala編寫(xiě)Spark計(jì)算程序，熟練掌握Spark原理，可以閱讀Spark源碼。

3.理解DataFrame和RDD之間的關(guān)系，熟練使用DataFrame的API，熟練使用Spark SQL處理結(jié)構(gòu)化數(shù)據(jù)，通過(guò)Spark SQL對(duì)接各種數(shù)據(jù)源，并將處理后結(jié)果寫(xiě)回到存儲(chǔ)介質(zhì)中。4.理解Spark Streaming的核心DStream，掌握DStream的編程API并編寫(xiě)實(shí)時(shí)計(jì)算程序。

學(xué)完此階段可解決的現(xiàn)實(shí)問(wèn)題：

熟練使用Scala快速開(kāi)發(fā)Spark大數(shù)據(jù)應(yīng)用，通過(guò)計(jì)算分析大量數(shù)據(jù)，挖掘出其中有價(jià)值的數(shù)據(jù)，為企業(yè)提供決策依據(jù)。

學(xué)完此階段可擁有的市場(chǎng)價(jià)值：

學(xué)習(xí)完spark并掌握其內(nèi)容，將具備中級(jí)大數(shù)據(jù)工程師能力，薪水可以達(dá)到 20K~25K。

1.Scala函數(shù)式編程

介紹：Scala是一門(mén)集面向?qū)ο蠛秃瘮?shù)式編程與一身的編程語(yǔ)言，其強(qiáng)大的表達(dá)能力、優(yōu)雅的API、高效的性能等優(yōu)點(diǎn)受到越來(lái)越多程序員的青睞。Spark底層就是用Scala語(yǔ)言編寫(xiě)，如果想徹底掌握Spark，就必須學(xué)好Scala。

案例：Scala編程實(shí)戰(zhàn)，基于Akka框架，編寫(xiě)一個(gè)簡(jiǎn)單的分布式RPC通信框架

2.使用Spark處理離線數(shù)據(jù)

介紹：Spark是基于內(nèi)存計(jì)算的大數(shù)據(jù)并行計(jì)算框架，具有高容錯(cuò)性和高可伸縮性，可以在大量廉價(jià)硬件之上部署大規(guī)模集群，在同等條件下要比Hadoop快10到100倍。

3.使用Spark SQL處理結(jié)構(gòu)化數(shù)據(jù)

介紹：Spark SQL的前身是Shark，專(zhuān)門(mén)用來(lái)處理結(jié)構(gòu)化的數(shù)據(jù)，類(lèi)似Hive，是將SQL轉(zhuǎn)換成一系列RDD任務(wù)提交到Spark集群中運(yùn)行，由于是在內(nèi)存中完成計(jì)算，要比hive的性能高很多，并且簡(jiǎn)化了開(kāi)發(fā)Spark程序的難度同時(shí)提高了開(kāi)發(fā)效率。

4.使用Spark Streaming完成實(shí)時(shí)計(jì)算

介紹：Spark Streaming類(lèi)似于Apache Storm，用于流式數(shù)據(jù)的處理。根據(jù)其官方文檔介紹，Spark Streaming有高吞吐量和容錯(cuò)能力強(qiáng)等特點(diǎn)。Spark Streaming支持的數(shù)據(jù)輸入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和簡(jiǎn)單的TCP套接字等等。數(shù)據(jù)輸入后可以用Spark的高度抽象原語(yǔ)如：map、reduce、join、window等進(jìn)行運(yùn)算。而結(jié)果也能保存在很多地方，如HDFS，數(shù)據(jù)庫(kù)等。另外Spark Streaming也能和MLlib(機(jī)器學(xué)習(xí))以及Graphx完美融合

5.Spark綜合項(xiàng)目：

介紹：該項(xiàng)目使用了Spark SQL和Spark Streaming對(duì)游戲整個(gè)生命周期產(chǎn)生的數(shù)據(jù)進(jìn)行了分析，從玩家第一次登錄游戲到每天產(chǎn)生的游戲日志，通過(guò)大量的數(shù)據(jù)來(lái)分析該游戲的運(yùn)營(yíng)情況和玩家的各種行為：如活躍用戶(hù)、用戶(hù)留存、充值比例、游戲收人、外掛分析等。

通過(guò)玩家登錄游戲產(chǎn)生的數(shù)據(jù)分析一天之內(nèi)各個(gè)時(shí)間段進(jìn)入游戲的情況

通過(guò)玩家登陸游戲產(chǎn)生的數(shù)據(jù)分析玩家在全國(guó)地區(qū)的分步情況，調(diào)整廣告投放策略

用戶(hù)留存指標(biāo)可以分析游戲?qū)ν婕业奈?，分析用?hù)流失原因

用戶(hù)等級(jí)信息可以分析玩家等等級(jí)分布情況、調(diào)整裝備爆率和游戲難度

通過(guò)上面游戲各個(gè)數(shù)據(jù)指標(biāo)的分析，可以讓游戲運(yùn)維者了解游戲的運(yùn)維情況，為運(yùn)維者提供各種個(gè)性化的調(diào)整策略，從而保證游戲健康、穩(wěn)定的運(yùn)營(yíng)。

第二篇：2、臨床路徑管理制度

XXXXXX醫(yī)院 臨床路徑管理制度

為了規(guī)范臨床診療行為，提高醫(yī)療質(zhì)量和保證醫(yī)療安全，減輕患者就醫(yī)的費(fèi)用，合理使用醫(yī)療資源，根據(jù)《轉(zhuǎn)發(fā)衛(wèi)生部關(guān)于印發(fā)臨床路徑管理指導(dǎo)原則（試行）的通知》等文件精神和要求，結(jié)合我院實(shí)際，制定了臨床路徑管理制度。

第一章

總

則

一、臨床路徑的定義：臨床路徑是對(duì)無(wú)并發(fā)癥單純性疾病制定的，以病人及其疾病（或手術(shù)）為中心、以時(shí)間作為橫軸，以入院、診斷、檢查、用藥、治療、護(hù)理、飲食、教育、出院等技術(shù)與服務(wù)的提供作為縱軸所做的最適當(dāng)?shù)摹⒂许樞蛐?、有時(shí)限要求的整體醫(yī)療計(jì)劃和服務(wù)程序，是標(biāo)準(zhǔn)化診療護(hù)理流程，是醫(yī)院實(shí)施實(shí)時(shí)質(zhì)量管理的最簡(jiǎn)單易行的方式。

二、臨床路徑的目的：通過(guò)明確病種的診療護(hù)理操作規(guī)程，使醫(yī)護(hù)人員行為規(guī)范化、標(biāo)準(zhǔn)化，使患者獲得最佳的、規(guī)范的醫(yī)療服務(wù)，減少康復(fù)的延遲，合理使用醫(yī)療資源，減輕患者負(fù)擔(dān)，緩和醫(yī)患關(guān)系。

三、臨床路徑的主要內(nèi)容：包括預(yù)期結(jié)果、評(píng)估、多學(xué)科的服務(wù)措施、病人與其家人的相關(guān)教育、會(huì)診、營(yíng)養(yǎng)、用藥、活動(dòng)、檢驗(yàn)與檢查、治療和出院計(jì)劃以及變異的記錄等內(nèi)容。

第二章

組織機(jī)構(gòu)

醫(yī)院成立了臨床路徑管理委員會(huì)負(fù)責(zé)臨床路徑的制定、實(shí)施、整改和監(jiān)督。臨床路徑管理委員會(huì)共四個(gè)小組，分別對(duì)應(yīng)四個(gè)級(jí)別：

一、臨床路徑領(lǐng)導(dǎo)小組

1、主

任：xxxx

院

長(zhǎng)

2、副主任：xxxx

Xxxx

二、臨床路徑專(zhuān)家組：

Xxxx〃〃〃〃〃〃

三、臨床路徑管理小組：

1、組

長(zhǎng)：xxxx

2、成員：xxxx〃〃〃〃〃

3、臨床路徑管理辦公室設(shè)在醫(yī)務(wù)部。

四、臨床路徑實(shí)施小組：實(shí)施小組由實(shí)施臨床路徑的臨床科室主任任組長(zhǎng)，該臨床科室醫(yī)療、護(hù)理人員和相關(guān)科室人員任成員。

1、組

長(zhǎng)：實(shí)施路徑的各臨床科室主任

2、副組長(zhǎng)：實(shí)施路徑的科室副主任、護(hù)士長(zhǎng)

3、成員：實(shí)施路徑的科室醫(yī)生、護(hù)士全體

第三章

臨床路徑的實(shí)施

一、臨床路徑的修改工作

擬開(kāi)展臨床路徑的科室，根據(jù)科室和本地區(qū)實(shí)際情況，對(duì)衛(wèi)生部下發(fā)的標(biāo)準(zhǔn)化臨床路徑流程和表單進(jìn)行小幅度修改，經(jīng)科室負(fù)責(zé)人簽字確認(rèn)后，提交臨床路徑管理委員會(huì)審批。臨床路徑管理委員會(huì)召開(kāi)會(huì)議研究、討論通過(guò)后，予以實(shí)施。

二、臨床路徑實(shí)施中的管理

1、路徑啟動(dòng)后，對(duì)于進(jìn)入路徑的病例科室要嚴(yán)格按照最終確定的臨床路徑流程和表單執(zhí)行。

2、進(jìn)入路徑前，要對(duì)患者進(jìn)行耐心的宣傳、教育和指導(dǎo)，在征得患者及其家屬同意后，方可施行。

3、當(dāng)病例出現(xiàn)變異時(shí)，要及時(shí)將其退出路徑，并在病歷和登記本上注明退出原因。

4、各科室要建立臨床路徑病例登記本，記錄患者姓名、住院號(hào)、性別、年齡、診斷、入出院時(shí)間、產(chǎn)生的費(fèi)用、完成結(jié)果等項(xiàng)目。

5、路徑病例的檢查申請(qǐng)上，要加蓋“臨床路徑”的印章，醫(yī)技科室接到檢查單后將其納入綠色通道，優(yōu)先進(jìn)行檢查，及時(shí)發(fā)布檢查結(jié)果，確保路徑順利實(shí)施。

6、路徑病例出院時(shí)，要在其病歷上加蓋“臨床路徑”的印章，病案室要對(duì)其進(jìn)行登記并妥善保管。

三、臨床路徑的質(zhì)控

1、開(kāi)展臨床路徑的科室每個(gè)季度要將路徑開(kāi)展工作進(jìn)行總結(jié)，并上報(bào)給臨床路徑質(zhì)控管理小組。臨床路徑管理委員會(huì)應(yīng)定期召開(kāi)臨床路徑工作會(huì)議，對(duì)路徑開(kāi)展情況進(jìn)行總結(jié)、分析和整改。

2、臨床路徑質(zhì)控管理小組應(yīng)定期或不定期到臨床、醫(yī)技科室檢查路徑開(kāi)展情況，發(fā)現(xiàn)問(wèn)題及時(shí)記錄、上報(bào)。

3、臨床路徑管理委員會(huì)應(yīng)定期對(duì)路徑的病歷進(jìn)行檢查，以監(jiān)督其診療過(guò)程是否符合要求。

4、臨床路徑管理委員會(huì)應(yīng)定期對(duì)路徑的費(fèi)用產(chǎn)生情況進(jìn)行檢查。

5、臨床路徑實(shí)施小組的組長(zhǎng)和副組長(zhǎng)應(yīng)定期對(duì)臨床路徑實(shí)施情況進(jìn)行檢查和監(jiān)督，發(fā)現(xiàn)問(wèn)題及時(shí)記錄、上報(bào)。

6、臨床路徑實(shí)施階段流程和表單的整改，需經(jīng)臨床路徑管理委員會(huì)審批后方可施行。

第四章

臨床路徑實(shí)施結(jié)果的評(píng)估與評(píng)價(jià)

臨床路徑實(shí)施結(jié)果的評(píng)估與評(píng)價(jià)由臨床路徑管理委員會(huì)負(fù)責(zé)組織實(shí)施，主要包括以下項(xiàng)目：

患者平均住院日、住院費(fèi)用、藥品費(fèi)用、非預(yù)期再手術(shù)率、并發(fā)癥與合并癥、死亡率、病人/家屬的滿意度等

每個(gè)月由醫(yī)務(wù)部對(duì)臨床路徑統(tǒng)計(jì)數(shù)據(jù)及內(nèi)容進(jìn)行分析，并上報(bào)上級(jí)衛(wèi)生行政部門(mén)。

根據(jù)臨床路徑統(tǒng)計(jì)、分析情況進(jìn)行整改，保證臨床路徑不斷改善、不斷提高。

第五章

附

則

一、臨床路徑考評(píng)結(jié)果與責(zé)任人評(píng)優(yōu)晉級(jí)直接掛鉤，對(duì)于臨床路徑工作做的好的，晉級(jí)時(shí)優(yōu)先考慮。

二、本制度解釋權(quán)屬臨床路徑管理委員會(huì)。

三、本制度自發(fā)布之日起實(shí)施。

XXXX醫(yī)院臨床路徑管理委員會(huì)

Xxxx年xx月xx日

第三篇：大數(shù)據(jù)時(shí)代學(xué)校檔案管理的優(yōu)化路徑

大數(shù)據(jù)時(shí)代學(xué)校檔案管理的優(yōu)化路徑

何謂大數(shù)據(jù)？顧名思義，就是指數(shù)據(jù)類(lèi)型多、數(shù)據(jù)容量大、數(shù)據(jù)存儲(chǔ)速度快、數(shù)據(jù)應(yīng)用價(jià)值大和具備大智能，就是挖掘和整合一切有用的信息，為人類(lèi)社會(huì)提供更好的服務(wù)?！按髷?shù)據(jù)”概念的首次提出是在2011年美國(guó)麥肯錫公司發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿領(lǐng)域》報(bào)告中，然而，僅僅過(guò)了5年時(shí)間，大數(shù)據(jù)技術(shù)已然滲透到人類(lèi)社會(huì)生活的方方面面，網(wǎng)絡(luò)購(gòu)物所依賴(lài)的物聯(lián)網(wǎng)以大數(shù)據(jù)技術(shù)為基礎(chǔ)，工業(yè)4.0時(shí)代的到來(lái)以大數(shù)據(jù)技術(shù)為基石，學(xué)校校園信息化建設(shè)以大數(shù)據(jù)技術(shù)為銜接。那么，在大數(shù)據(jù)時(shí)代背景下，學(xué)校檔案管理工作的優(yōu)化和更新也必然繞不開(kāi)大數(shù)據(jù)技術(shù)的支持和服務(wù)。實(shí)際上，中共中央、國(guó)務(wù)院印發(fā)的《國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）》中明確提出了“教育信息化”的要求，檔案管理作為學(xué)校教育的重要組成部分，必然需要走上信息化管理的道路，才能更好地服務(wù)于教育發(fā)展和學(xué)生成長(zhǎng)成才。本文正是基于此，分析大數(shù)據(jù)時(shí)代引發(fā)學(xué)校檔案管理的新業(yè)態(tài)，審視大數(shù)據(jù)對(duì)學(xué)校檔案管理帶來(lái)的變革，提出大數(shù)據(jù)時(shí)代學(xué)校檔案管理的優(yōu)化路徑，更好地發(fā)揮檔案管理對(duì)促進(jìn)學(xué)校發(fā)展的效能。

一、大數(shù)據(jù)時(shí)代學(xué)校檔案管理發(fā)展的動(dòng)向

大數(shù)據(jù)之所以稱(chēng)之為“大”，除了其數(shù)據(jù)體量“巨無(wú)霸”、數(shù)據(jù)類(lèi)型“多樣化”之外，更在于大數(shù)據(jù)特有的數(shù)據(jù)處理速度快和數(shù)據(jù)價(jià)值挖掘能力強(qiáng)的特點(diǎn)。由此，可以用4個(gè)“V”來(lái)概括大數(shù)據(jù)的基本特征，即是Volume（信息量）、Variety（信息種類(lèi)）、Value（信息價(jià)值）與 Velocity（信息處理速度）。從學(xué)校檔案管理的角度來(lái)看，經(jīng)過(guò)多年的發(fā)展，學(xué)校的檔案在種類(lèi)上和數(shù)量上不可謂不多，尤其是學(xué)生檔案的電子化、無(wú)紙化，更是增加了檔案的體量。由此，在大數(shù)據(jù)背景下，學(xué)校檔案的狀態(tài)維度和管理發(fā)展至少具有以下幾個(gè)方面的動(dòng)向。

1.檔案在體量上的動(dòng)態(tài)變化

在我國(guó)教育“國(guó)民化、大眾化”的當(dāng)下，無(wú)論是高等教育亦或是中等教育，都呈現(xiàn)出教育開(kāi)放程度“井噴”的態(tài)勢(shì)，尤其是在信息化的注腳下，教育資源以海量的形式在“爆炸”，學(xué)校內(nèi)部的檔案資源也必然隨之爆炸式增長(zhǎng)，使原本單一的結(jié)構(gòu)化數(shù)據(jù)，變成了包括課件、網(wǎng)頁(yè)、視頻、圖片等在內(nèi)的結(jié)構(gòu)化、半結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)，引發(fā)了檔案資源類(lèi)型多樣化和數(shù)據(jù)海量化的管理難題，如果依然遵照傳統(tǒng)單一化歸類(lèi)的檔案管理思維和方法，難免會(huì)出現(xiàn)“無(wú)暇顧及、無(wú)法系統(tǒng)化管理”的問(wèn)題，大數(shù)據(jù)技術(shù)的出現(xiàn)，恰好為這一難題的解決帶來(lái)機(jī)遇。

2.檔案在空間上的動(dòng)態(tài)變化

在信息化時(shí)代，學(xué)校檔案信息以無(wú)紙化、電子化的形式存在，意味著原本在檔案信息管理中存在的“信息孤島”問(wèn)題將會(huì)得到破解，取而代之的將是校與校之間、城市與城市之間、省與省之間甚至國(guó)家與國(guó)家之間都會(huì)產(chǎn)生檔案資源交流與共享的行為。實(shí)際上，高校學(xué)生檔案信息已經(jīng)在“學(xué)信網(wǎng)”上實(shí)現(xiàn)共享，下一階段，中等職業(yè)學(xué)校、普通高中乃至義務(wù)教育階段的學(xué)生檔案都會(huì)在“學(xué)籍信息管理系統(tǒng)”中實(shí)現(xiàn)共享，其中將把學(xué)生學(xué)習(xí)的全過(guò)程、全階段的信息都涵蓋進(jìn)來(lái)，這些跨空間的信息資源都是學(xué)校檔案的有機(jī)構(gòu)成，而通過(guò)大數(shù)據(jù)技術(shù)恰好可以將這些信息鏈接起來(lái)。

3.檔案在時(shí)間上的動(dòng)態(tài)變化

在大數(shù)據(jù)技術(shù)的支持下，學(xué)生檔案信息從生成、加工、歸集到傳播利用等各個(gè)流程都發(fā)生了“質(zhì)的變化”，主要表現(xiàn)為傳統(tǒng)的延時(shí)生成到現(xiàn)在的即時(shí)生成，從檔案信息的定時(shí)加工到歷時(shí)加工、從檔案信息的靜態(tài)傳播到動(dòng)態(tài)傳播等等?？梢?jiàn)，與傳統(tǒng)載體條件下檔案管理不一樣的是，大數(shù)據(jù)技術(shù)下的檔案管理在時(shí)間上實(shí)現(xiàn)了即時(shí)傳輸、實(shí)時(shí)共享、即時(shí)生成，大大方便了檔案管理的流程。但是，也造成了師生學(xué)習(xí)生活的不便，主要體現(xiàn)在學(xué)校網(wǎng)絡(luò)擴(kuò)容的不足，存在數(shù)據(jù)錄入時(shí)的系統(tǒng)癱瘓問(wèn)題，無(wú)法體現(xiàn)網(wǎng)絡(luò)信息存儲(chǔ)快速處理的優(yōu)勢(shì)。

4.檔案在價(jià)值上的動(dòng)態(tài)變化

挖掘數(shù)據(jù)的價(jià)值是大數(shù)據(jù)技術(shù)的重要優(yōu)勢(shì)，在海量和多元化的檔案數(shù)據(jù)中，找尋有價(jià)值的檔案信息是大數(shù)據(jù)致力解決的問(wèn)題，通過(guò)上百萬(wàn)臺(tái)計(jì)算機(jī)的云計(jì)算，可以實(shí)現(xiàn)瞬間將有價(jià)值的檔案信息整合起來(lái)，以方便學(xué)校的教學(xué)管理創(chuàng)新。當(dāng)然，在此過(guò)程中，一些問(wèn)題值得關(guān)注，一是傳統(tǒng)學(xué)校檔案管理中的技術(shù)偏差和制度滯后，難免產(chǎn)生檔案信息的可靠性問(wèn)題，給檔案價(jià)值判斷帶來(lái)梗阻；二是如何利用不同渠道來(lái)源的檔案信息來(lái)校驗(yàn)和印證檔案信息的真實(shí)性，這個(gè)問(wèn)題亟需解決；三是如何實(shí)現(xiàn)檔案信息價(jià)值的最大化，這個(gè)難題需要破解。

二、大數(shù)據(jù)環(huán)境對(duì)學(xué)校檔案管理各個(gè)流程的影響

大數(shù)據(jù)技術(shù)，在改變?nèi)祟?lèi)生活的存在形態(tài)的同時(shí)，更要實(shí)現(xiàn)人類(lèi)工作業(yè)態(tài)的嬗變，使人類(lèi)工作往便捷化方向轉(zhuǎn)變。對(duì)于學(xué)校檔案管理而言，由于管理對(duì)象、技術(shù)載體的變化，對(duì)檔案管理的各個(gè)流程也會(huì)造成相應(yīng)的影響和變革。

1.檔案收集環(huán)節(jié)的影響變化

在傳統(tǒng)學(xué)校檔案收集過(guò)程中，只注重檔案數(shù)據(jù)的結(jié)構(gòu)類(lèi)型，將同種結(jié)構(gòu)的檔案信息進(jìn)行歸類(lèi)，就基本上完成了檔案收集。但是，在大數(shù)據(jù)時(shí)代，檔案收集還必須強(qiáng)調(diào)時(shí)效性，即要求檔案管理人員及時(shí)響應(yīng)教學(xué)、科研、學(xué)生管理中產(chǎn)生的動(dòng)態(tài)信息，并及時(shí)收集，否則就會(huì)稍縱即逝，出現(xiàn)檔案收集的漏洞。這就需要檔案管理人員樹(shù)立“前端控制意識(shí)”，對(duì)學(xué)校的各項(xiàng)工作具有預(yù)見(jiàn)性，充分控制學(xué)校各類(lèi)檔案信息的生成環(huán)節(jié)，并將檔案管理的要求嵌入教學(xué)科研和學(xué)籍管理等各類(lèi)系統(tǒng)中，從而保證檔案的真實(shí)可靠。同時(shí)，對(duì)于在學(xué)校論壇、博客、社區(qū)媒體中產(chǎn)生的檔案信息資源也要有意識(shí)地進(jìn)行采集，才能實(shí)現(xiàn)學(xué)校檔案資源的深度、廣度、豐富度和價(jià)值度管理，進(jìn)而更好地服務(wù)學(xué)校又好又快發(fā)展。

2.檔案加工方式的影響變化

傳統(tǒng)學(xué)校檔案加工一般以人工鑒定識(shí)別的方式進(jìn)行，確保了檔案加工的質(zhì)量，但是，隨著檔案信息的爆炸式增長(zhǎng)，難免會(huì)帶來(lái)人手不足的現(xiàn)實(shí)問(wèn)題。大數(shù)據(jù)技術(shù)的出現(xiàn)，深刻影響了學(xué)校檔案加工的模式，不是以人工來(lái)識(shí)別鑒定而是通過(guò)人工智能來(lái)展開(kāi)，這不能不說(shuō)是對(duì)傳統(tǒng)檔案整理加工方式的巨大挑戰(zhàn)。然而，在此過(guò)程中，必須要?jiǎng)?chuàng)新加工信息的技術(shù)和方法，才能對(duì)多元化、海量化的檔案信息進(jìn)行快速處理，“提純”價(jià)值信息、找出關(guān)聯(lián)數(shù)據(jù)，進(jìn)而大大方便學(xué)校檔案信息的管理，也有助于實(shí)現(xiàn)檔案數(shù)據(jù)利用的便捷化，厚實(shí)學(xué)校檔案信息服務(wù)的基礎(chǔ)。

3.檔案存儲(chǔ)方式的影響變化

傳統(tǒng)學(xué)校檔案存儲(chǔ)多以有紙化的檔案數(shù)據(jù)來(lái)保存，但是，在信息化時(shí)代，數(shù)據(jù)在數(shù)量上的爆炸式增長(zhǎng)和在結(jié)構(gòu)上的多樣性變化，勢(shì)必對(duì)傳統(tǒng)檔案保存方式帶來(lái)極大的挑戰(zhàn)，內(nèi)在要求學(xué)校檔案管理工作必須對(duì)接大數(shù)據(jù)時(shí)代背景，加大投入建構(gòu)服務(wù)于海量異構(gòu)數(shù)據(jù)的底層存儲(chǔ)及分布式系統(tǒng)架構(gòu)，更為重要的是，所建立起來(lái)的數(shù)據(jù)存儲(chǔ)空間要具備擴(kuò)展性和可用性的要求，具有前瞻性，滿足未來(lái)檔案數(shù)據(jù)發(fā)展的需求。同時(shí)，要在存儲(chǔ)空間建設(shè)中避免“信息孤島”的問(wèn)題，滿足異地資源共建共享的需要，內(nèi)嵌外部接口和通道，才能充分保證學(xué)校檔案數(shù)據(jù)庫(kù)既具有足夠的存儲(chǔ)空間，又能實(shí)現(xiàn)信息資源的快捷融通和敏捷分析。

4.檔案服務(wù)方式的影響變化

在傳統(tǒng)學(xué)校檔案管理中，對(duì)檔案資源挖掘、用戶(hù)數(shù)據(jù)挖掘、關(guān)系洞察及趨勢(shì)預(yù)測(cè)的要求不高，大數(shù)據(jù)時(shí)代則不同，要求檔案服務(wù)工作必須從“供給導(dǎo)向”向“需求導(dǎo)向”轉(zhuǎn)變，即是在檔案管理中，要滿足學(xué)校不同部門(mén)對(duì)檔案信息的需求，利用數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、語(yǔ)義處理、可視知識(shí)挖掘等方法，最大限度地滿足用戶(hù)的需求。同時(shí)，積極建構(gòu)數(shù)據(jù)模型，對(duì)海量數(shù)據(jù)進(jìn)行相關(guān)性分析，找出其中的內(nèi)在聯(lián)系，將檔案資源轉(zhuǎn)化為知識(shí)資源，優(yōu)化檔案服務(wù)工作流程，從而彰顯檔案的智能服務(wù)和知識(shí)服務(wù)的功能。

三、大數(shù)據(jù)時(shí)代學(xué)校檔案管理工作優(yōu)化的路徑

基于以上分析，為了能夠更好地應(yīng)對(duì)大數(shù)據(jù)時(shí)代對(duì)學(xué)校檔案管理工作帶來(lái)的影響變化，必須積極利用大數(shù)據(jù)技術(shù)來(lái)為學(xué)校檔案管理工作保駕護(hù)航。具體來(lái)說(shuō)，就要通過(guò)以學(xué)校內(nèi)部大數(shù)據(jù)技術(shù)建設(shè)為核心，深入挖掘檔案信息內(nèi)在價(jià)值的措施來(lái)實(shí)現(xiàn)檔案資源的共建共享，以期發(fā)揮檔案資源服務(wù)社會(huì)、服務(wù)學(xué)校、服務(wù)師生的效能。

檔案管理工作是學(xué)校其他工作又好又快發(fā)展的重要保障，在大數(shù)據(jù)時(shí)代，檔案管理人員需要摒棄傳統(tǒng)單一化的檔案管理思維，不斷強(qiáng)化服務(wù)意識(shí)，強(qiáng)化供給導(dǎo)向，最大限度地發(fā)揮檔案資源的效用，才能凸顯檔案管理的價(jià)值。

首先，要樹(shù)立“以需為本”的服務(wù)理念。無(wú)疑，對(duì)于學(xué)校的檔案，其需求者不僅僅限于學(xué)校內(nèi)部，還在于社會(huì)大眾，要求檔案服務(wù)不能僅僅囿于學(xué)校內(nèi)部，在不侵害國(guó)家秘密、個(gè)人隱私和知識(shí)產(chǎn)權(quán)的前提下，應(yīng)該實(shí)現(xiàn)檔案服務(wù)的深度和廣度，以增強(qiáng)檔案的信度和效度。同時(shí)，在服務(wù)的實(shí)踐中，不能將檔案服務(wù)簡(jiǎn)單地理解為“索取-提供”的關(guān)系，應(yīng)該是全程服務(wù)，包括事前、事中和事后，通過(guò)服務(wù)的增值來(lái)贏得用戶(hù)的口碑，以最優(yōu)的服務(wù)來(lái)突出大數(shù)據(jù)的內(nèi)涵。

其次，要把握技術(shù)發(fā)展的最新步伐。在信息化時(shí)代，技術(shù)發(fā)展和更新的速度不斷加快，今天的大數(shù)據(jù)技術(shù)，明天極有可能被更加先進(jìn)的技術(shù)替代，當(dāng)前大數(shù)據(jù)技術(shù)在各行各業(yè)的廣泛運(yùn)用，已經(jīng)產(chǎn)生巨大的經(jīng)濟(jì)效益和社會(huì)價(jià)值，其中所包括的諸多技術(shù)解決方案和理念模式，對(duì)于檔案管理模式的更新可以直接移植。但是，對(duì)于檔案管理者來(lái)說(shuō)，這顯然不是終點(diǎn)，只有與時(shí)俱進(jìn)、與科技俱進(jìn)才是檔案管理者的選擇，這就需要不斷學(xué)習(xí)，不僅要掌握大數(shù)據(jù)時(shí)代的“全數(shù)據(jù)模式”技術(shù)，還要掌握云計(jì)算技術(shù)，緊跟技術(shù)進(jìn)步的節(jié)奏。

最后，要挖掘檔案資源的內(nèi)在價(jià)值。在大數(shù)據(jù)時(shí)代，由于大數(shù)據(jù)技術(shù)本身巨大的數(shù)據(jù)挖掘和集成功能，學(xué)校檔案管理者必須敏銳認(rèn)識(shí)到自身所擁有的信息數(shù)據(jù)寶庫(kù)，要深入考量如何發(fā)揮數(shù)據(jù)“礦產(chǎn)”的價(jià)值，通過(guò)收集整理、挖掘分析和深度加工，建立內(nèi)部的“檔案資源集成數(shù)據(jù)庫(kù)”，為優(yōu)質(zhì)服務(wù)夯實(shí)基礎(chǔ)。從大數(shù)據(jù)技術(shù)發(fā)展的遠(yuǎn)期來(lái)看，從學(xué)校檔案管理工作的優(yōu)化來(lái)審視，學(xué)校檔案館可以通過(guò)引入第三方來(lái)打造“學(xué)校檔案信息云服務(wù)”，對(duì)眾多學(xué)校的“大數(shù)據(jù)”進(jìn)行預(yù)測(cè)性分析和預(yù)備性收集，進(jìn)而為師生乃至社會(huì)提供個(gè)性化或小眾化服務(wù)，從而釋放出更多檔案信息數(shù)據(jù)資源的潛藏價(jià)值。

四、結(jié)語(yǔ)

總之，在大數(shù)據(jù)時(shí)代背景下，學(xué)校檔案管理工作不可能將大數(shù)據(jù)技術(shù)拋之腦后，要與整個(gè)時(shí)代發(fā)展的步伐一致，要深刻認(rèn)識(shí)到大數(shù)據(jù)技術(shù)對(duì)學(xué)校檔案管理帶來(lái)的變化和挑戰(zhàn)，積極適應(yīng)變化、應(yīng)對(duì)挑戰(zhàn)，樹(shù)立“以人為本”的服務(wù)理念、把握技術(shù)發(fā)展的最新步伐、深入挖掘檔案資源的內(nèi)在價(jià)值，才能確保檔案管理工作最大程度的促進(jìn)學(xué)校各項(xiàng)工作的發(fā)展。

（作者單位：珠海市理工職業(yè)技術(shù)學(xué)校）

第四篇：大數(shù)據(jù)學(xué)習(xí)路線

大數(shù)據(jù)學(xué)習(xí)路線

年薪30W大數(shù)據(jù)學(xué)習(xí)路線圖：

一、Hadoop入門(mén)，了解什么是Hadoop

1、Hadoop產(chǎn)生背景

2、Hadoop在大數(shù)據(jù)、云計(jì)算中的位置和關(guān)系

3、國(guó)內(nèi)外Hadoop應(yīng)用案例介紹

4、國(guó)內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹

5、分布式系統(tǒng)概述

6、Hadoop生態(tài)圈以及各組成部分的簡(jiǎn)介

7、Hadoop核心MapReduce例子說(shuō)明

二、分布式文件系統(tǒng)HDFS，是數(shù)據(jù)庫(kù)管理員的基礎(chǔ)課程

1、分布式文件系統(tǒng)HDFS簡(jiǎn)介

2、HDFS的系統(tǒng)組成介紹

3、HDFS的組成部分詳解

4、副本存放策略及路由規(guī)則

5、NameNode Federation

6、命令行接口

7、Java接口

8、客戶(hù)端與HDFS的數(shù)據(jù)流講解

9、HDFS的可用性（HA）

三、初級(jí)MapReduce，成為Hadoop開(kāi)發(fā)人員的基礎(chǔ)課程

1、如何理解map、reduce計(jì)算模型

2、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過(guò)程

3、Yarn模型

4、序列化

5、MapReduce的類(lèi)型與格式

6、MapReduce開(kāi)發(fā)環(huán)境搭建

7、MapReduce應(yīng)用開(kāi)發(fā)

8、更多示例講解，熟悉MapReduce算法原理

四、高級(jí)MapReduce，高級(jí)Hadoop開(kāi)發(fā)人員的關(guān)鍵課程

1、使用壓縮分隔減少輸入規(guī)模

2、利用Combiner減少中間數(shù)據(jù)

3、編寫(xiě)Partitioner優(yōu)化負(fù)載均衡

4、如何自定義排序規(guī)則

5、如何自定義分組規(guī)則

6、MapReduce優(yōu)化

7、編程實(shí)戰(zhàn)

五、Hadoop集群與管理，是數(shù)據(jù)庫(kù)管理員的高級(jí)課程

1、Hadoop集群的搭建

2、Hadoop集群的監(jiān)控

3、Hadoop集群的管理

4、集群下運(yùn)行MapReduce程序

六、ZooKeeper基礎(chǔ)知識(shí)，構(gòu)建分布式系統(tǒng)的基礎(chǔ)框架

1、ZooKeeper體現(xiàn)結(jié)構(gòu)

2、ZooKeeper集群的安裝

3、操作ZooKeeper

七、HBase基礎(chǔ)知識(shí)，面向列的實(shí)時(shí)分布式數(shù)據(jù)庫(kù)

1、HBase定義

2、HBase與RDBMS的對(duì)比

3、數(shù)據(jù)模型

4、系統(tǒng)架構(gòu)

5、HBase上的MapReduce

6、表的設(shè)計(jì)

八、HBase集群及其管理

1、集群的搭建過(guò)程講解

2、集群的監(jiān)控

3、集群的管理

九、HBase客戶(hù)端

1、HBase Shell以及演示

2、Java客戶(hù)端以及代碼演示

十、Pig基礎(chǔ)知識(shí)，進(jìn)行Hadoop計(jì)算的另一種框架

1、Pig概述

2、安裝Pig

3、使用Pig完成手機(jī)流量統(tǒng)計(jì)業(yè)務(wù)

十一、Hive，使用SQL進(jìn)行計(jì)算的Hadoop框架

1、數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí)

2、Hive定義

3、Hive體系結(jié)構(gòu)簡(jiǎn)介

4、Hive集群

5、客戶(hù)端簡(jiǎn)介

6、HiveQL定義

7、HiveQL與SQL的比較

8、數(shù)據(jù)類(lèi)型

9、表與表分區(qū)概念

10、表的操作與CLI客戶(hù)端演示

11、數(shù)據(jù)導(dǎo)入與CLI客戶(hù)端演示

12、查詢(xún)數(shù)據(jù)與CLI客戶(hù)端演示

13、數(shù)據(jù)的連接與CLI客戶(hù)端演示

14、用戶(hù)自定義函數(shù)（UDF）的開(kāi)發(fā)與演示

十二、Sqoop，Hadoop與rdbms進(jìn)行數(shù)據(jù)轉(zhuǎn)換的框架

1、配置Sqoop

2、使用Sqoop把數(shù)據(jù)從MySQL導(dǎo)入到HDFS中

3、使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到MySQL中

十三、Storm

1、Storm基礎(chǔ)知識(shí)：包括Storm的基本概念和Storm應(yīng)用

場(chǎng)景，體系結(jié)構(gòu)與基本原理，Storm和Hadoop的對(duì)比

2、Storm集群搭建：詳細(xì)講述Storm集群的安裝和安裝時(shí)常見(jiàn)問(wèn)題

3、Storm組件介紹: spout、bolt、stream groupings等

4、Storm消息可靠性：消息失敗的重發(fā)

5、Hadoop 2.0和Storm的整合：Storm on YARN

6、Storm編程實(shí)戰(zhàn)

第五篇：數(shù)據(jù)網(wǎng)學(xué)習(xí)心得體會(huì)

數(shù)據(jù)通信技術(shù)與維護(hù)管理學(xué)習(xí)心得體會(huì)

在我們的仔細(xì)聆聽(tīng)中，我們期盼已久的培訓(xùn)學(xué)習(xí)在我們的戀戀不舍中敲響了結(jié)尾的鐘聲。對(duì)于一個(gè)月的培訓(xùn)課程，我想我只能用受益匪淺這四個(gè)字來(lái)形容了。老師們的博文廣識(shí)、生動(dòng)講解、精彩案例無(wú)不在我的腦海里留下了深刻的印象，我只恨自己才疏學(xué)淺、文筆糟糕，不能夠?qū)⑺械母杏|都通過(guò)文字顯然于紙上。但是我還是盡力絞盡腦汁，以祈求能將培訓(xùn)完后心中所想所獲能表達(dá)出來(lái)。

此次精彩的培訓(xùn)學(xué)習(xí)主要心得有以下幾個(gè)方面：

一、讓自己更加了解數(shù)據(jù)通信系統(tǒng)，了解數(shù)據(jù)通信原理，了解局域網(wǎng)技術(shù)和網(wǎng)絡(luò)協(xié)議。

通過(guò)這次的培訓(xùn)學(xué)習(xí)，我知道了是一個(gè)由分布在各地的數(shù)據(jù)終端設(shè)備、數(shù)據(jù)交換設(shè)備和數(shù)據(jù)傳輸鏈路構(gòu)成的網(wǎng)絡(luò)，其功能是在網(wǎng)絡(luò)協(xié)議支持下，實(shí)現(xiàn)數(shù)據(jù)終端間的數(shù)據(jù)傳輸和交換。數(shù)據(jù)通信網(wǎng)的組成包括:數(shù)據(jù)終端設(shè)備；數(shù)據(jù)交換設(shè)備；數(shù)據(jù)傳輸鏈路；通信協(xié)議。此外還掌握了網(wǎng)絡(luò)協(xié)議分析軟件的基本操作，并對(duì)ARP、TCP和UDP協(xié)議等做了基本的實(shí)作分析。

二、了解了綜合視頻監(jiān)控、會(huì)議電視等數(shù)據(jù)通信業(yè)務(wù) 綜合視頻監(jiān)控采用網(wǎng)絡(luò)化、數(shù)字化視頻監(jiān)控技術(shù)和IP傳輸方式構(gòu)建的視頻監(jiān)控系統(tǒng)，提供鐵路各業(yè)務(wù)部門(mén)和信息系統(tǒng)所需的視頻信息，實(shí)現(xiàn)網(wǎng)絡(luò)和視頻信息資源共享。全路現(xiàn)有視頻系統(tǒng)達(dá)500多個(gè)，安裝攝像機(jī)18524套。包括模擬和數(shù)字系統(tǒng)，除近年來(lái)建設(shè)的有青藏線路視頻監(jiān)視系統(tǒng)、客運(yùn)專(zhuān)線、編組站及大站視頻監(jiān)視系統(tǒng)等，早期建設(shè)的視頻系統(tǒng)大部分沒(méi)有經(jīng)過(guò)聯(lián)網(wǎng)，僅為本地區(qū)單業(yè)務(wù)部門(mén)用戶(hù)服務(wù)。

視頻會(huì)議（會(huì)議電視）是視訊傳輸技術(shù)的典型應(yīng)用之一，一種在不同地點(diǎn)的用戶(hù)以電視的方式舉行會(huì)議，傳輸圖像、聲音和文件的通信方式。視頻會(huì)議具有節(jié)省時(shí)間、縮短空間、提高效率等優(yōu)點(diǎn)。視頻會(huì)議是現(xiàn)代計(jì)算機(jī)技術(shù)、通信技術(shù)和視頻技術(shù)完美結(jié)合的產(chǎn)物。

三、學(xué)習(xí)了綜合網(wǎng)管，數(shù)據(jù)網(wǎng)組網(wǎng)及相關(guān)技術(shù)規(guī)章，并了解了數(shù)據(jù)網(wǎng)常見(jiàn)故障分析及維護(hù)策略

網(wǎng)絡(luò)管理功能可概括為OAM﹠P，即網(wǎng)絡(luò)的操作(Operation)、管理(Administration)、維護(hù)(Maintenance)、服務(wù)提供(Provisioning)等所需要的各種活動(dòng)。有時(shí)也只考慮前三種，即把網(wǎng)絡(luò)管理功能歸結(jié)為OAM.數(shù)據(jù)網(wǎng)網(wǎng)管的主要功能：對(duì)網(wǎng)絡(luò)中的設(shè)備進(jìn)行配置管理，以利于運(yùn)營(yíng)維護(hù)；實(shí)現(xiàn)網(wǎng)絡(luò)的運(yùn)行狀況監(jiān)控，包括：故障監(jiān)視、告警等功能；實(shí)現(xiàn)網(wǎng)絡(luò)的計(jì)費(fèi)，例如：流量統(tǒng)計(jì)等；實(shí)現(xiàn)網(wǎng)絡(luò)的安全管理，例如：相關(guān)安全設(shè)置、用戶(hù)設(shè)置等。

鐵路IP數(shù)據(jù)網(wǎng)分為專(zhuān)用IP數(shù)據(jù)網(wǎng)和綜合IP數(shù)據(jù)網(wǎng)。專(zhuān)用IP數(shù)據(jù)網(wǎng)指獨(dú)立組網(wǎng)的信息網(wǎng)絡(luò)，包括：客票網(wǎng)、CTC/TDCS網(wǎng)、公安網(wǎng)、機(jī)要網(wǎng)等；鐵路數(shù)據(jù)通信網(wǎng)是綜合IP數(shù)據(jù)網(wǎng)（以下簡(jiǎn)稱(chēng)數(shù)據(jù)網(wǎng)），是鐵路信息業(yè)務(wù)及通信系統(tǒng)數(shù)據(jù)通信業(yè)務(wù)共用的數(shù)據(jù)通信基礎(chǔ)網(wǎng)絡(luò)平臺(tái)。

數(shù)據(jù)網(wǎng)應(yīng)承載鐵路信息化發(fā)展總體規(guī)劃中的客貨運(yùn)營(yíng)銷(xiāo)、經(jīng)營(yíng)管理和部分運(yùn)輸組織的信息應(yīng)用系統(tǒng)（包括：旅客信息服務(wù)信息系統(tǒng)、辦公信息化、運(yùn)輸生產(chǎn)及調(diào)度指揮信息系統(tǒng)、各類(lèi)監(jiān)測(cè)系統(tǒng)等），以及通信系統(tǒng)數(shù)據(jù)通信業(yè)務(wù)（包括：鐵路綜合視頻監(jiān)控系統(tǒng)、GSM-R GPRS、會(huì)議電視系統(tǒng)、網(wǎng)管系統(tǒng)、SIM卡管理等系統(tǒng)）。

四、最后我們學(xué)員間還進(jìn)行了工作交流

通過(guò)交流我們互相之間了解了各鐵路局?jǐn)?shù)據(jù)網(wǎng)的使用情況，并通過(guò)交流我們互相學(xué)習(xí)數(shù)據(jù)網(wǎng)的維護(hù)，從而提高了我對(duì)數(shù)據(jù)網(wǎng)維護(hù)工作的技術(shù)水平。以便以后能夠更好的進(jìn)行工作。

學(xué)習(xí)是可貴的，培訓(xùn)是精彩的。通過(guò)這次可貴而精彩的培訓(xùn)學(xué)習(xí)，我們向鐵路數(shù)據(jù)通信更進(jìn)了一步。感嘆與憧憬之余，我想我們只有靠自己的聰明與才智、努力與勤奮去建設(shè)好鐵路，為我們的鐵路數(shù)據(jù)通信更好的發(fā)展貢獻(xiàn)自己微薄的力量。

太原通信段技術(shù)支持中心

武威

2013年12月13日