第一篇：技術(shù)與架構(gòu),解析如何將大數(shù)據(jù)最快落地到實踐

技術(shù)與架構(gòu)，解析如何將大數(shù)據(jù)最快落地到實踐

本文章來自于阿里云云棲社區(qū)

摘要： 3月9日14點，業(yè)內(nèi)首個結(jié)合技術(shù)與應用的在線大數(shù)據(jù)技術(shù)峰會即將展開，屆時6位阿里技術(shù)大咖與4位行業(yè)資深實踐者將從技術(shù)與業(yè)務(wù)兩個方面，與大家探討大數(shù)據(jù)如何最快落地到實踐。較為有看點的是：最深入的實踐：本次在線峰會上，6個阿里規(guī)模的大數(shù)據(jù)實踐將被深入分享，包括大數(shù)據(jù)平臺的性能調(diào)優(yōu)、流式增量計算、持續(xù)發(fā)布與演進、機器學習的平臺打造等。

免費開通大數(shù)據(jù)服務(wù)：http://004km.cn/product/odps

直播回顧： https://yq.aliyun.com/webinar/history?spm=5176.8067841.wnold.1.rLvSkQ

3月9日14點，業(yè)內(nèi)首個結(jié)合技術(shù)與應用的在線大數(shù)據(jù)技術(shù)峰會即將展開，屆時6位阿里技術(shù)大咖與4位行業(yè)資深實踐者將從技術(shù)與業(yè)務(wù)兩個方面，與大家探討大數(shù)據(jù)如何最快落地到實踐。較為有看點的是：

最深入的實踐：本次在線峰會上，6個阿里規(guī)模的大數(shù)據(jù)實踐將被深入分享，包括大數(shù)據(jù)平臺的性能調(diào)優(yōu)、流式增量計算、持續(xù)發(fā)布與演進、機器學習的平臺打造等。同時，在技術(shù)分享之外，你還可以與嘉賓進行問答互動，免費的學習機會就在這里！

最真實的應用：技術(shù)的價值在于賦能業(yè)務(wù)，然而真正結(jié)合起來并不簡單，本次峰會上，地產(chǎn)、醫(yī)療、電商、社區(qū)等實際場景大數(shù)據(jù)應用案例將被放出，這里有幫助你打開大數(shù)據(jù)賦能的鑰匙。

技術(shù)實踐篇

偉林阿里云資深專家

嘉賓簡介：阿里巴巴大數(shù)據(jù)事業(yè)部資深架構(gòu)師，原微軟Cosmos/Scope核心開發(fā)人員，現(xiàn)負責阿里巴巴大數(shù)據(jù)計算平臺總體架構(gòu)，該平臺是阿里巴巴核心計算分析平臺，承擔阿里內(nèi)部絕大數(shù)計算任務(wù)。林偉作為一名分布式系統(tǒng)研究員，在國外一流會議OSDI, SIGMOD, NSDI, VLDB發(fā)表多篇論文。是大數(shù)據(jù)存儲，分布式計算，數(shù)據(jù)查詢優(yōu)化，分布式調(diào)度等領(lǐng)域的專家。具有10多年研究和開發(fā)經(jīng)歷，分別打造微軟和阿里內(nèi)部大型數(shù)萬臺級別數(shù)據(jù)中心的計算平臺。

演講議題：MaxCompute 2.0 性能優(yōu)化揭秘 直播時間：3月9日 14:00-14:40

議題簡介：分布式系統(tǒng)性能優(yōu)化核心，以及基于代價的大數(shù)據(jù)平臺優(yōu)化器打造。

振禹阿里云高級專家

嘉賓簡介：20年業(yè)界經(jīng)驗，在數(shù)據(jù)與分布式系統(tǒng)的應用與開發(fā)方面有豐富的經(jīng)驗。目前負責MaxCompute SQL大數(shù)據(jù)語言的設(shè)計與開發(fā)，致力于提高MaxCompute的用戶體驗。演講議題：MaxCompute——大數(shù)據(jù)語言的新發(fā)展 直播時間：3月9日 14:40-15:20

議題簡介：MaxCompute是全新一代的ODPS，基于完全自主研發(fā)的ODPS2.0 SQL引擎。MaxCompute SQL大數(shù)據(jù)語言在易用性，兼容性，性能與可擴展性方面取得長足進步。此演講將向您逐一介紹這些新功能。

聽眾預計受益：對于MaxCompute的現(xiàn)有用戶，能夠知道基于ODPS2.0的SQL引擎給大家?guī)淼囊子眯愿倪M與新功能，提高開發(fā)效率，降低維護成本，提高性能。對于潛在用戶，能夠知道基于ODPS2.0的SQL引擎在兼容性方面的改進，知道如何利用這些特性方便遷移使用MaxCompute，并知道使用MaxCompute在易用性與可擴展性方面的優(yōu)勢。

布民阿里云高級專家

嘉賓簡介：2015年加入阿里巴巴，現(xiàn)為阿里云高級專家、技術(shù)委員會成員，及大規(guī)模流計算與圖計算平臺負責人。布民之前在微軟亞洲研究院任主管研究員，主要研究興趣為大規(guī)模分布式計算。至今已在相關(guān)領(lǐng)域頂級會議(如OSDI，NSDI，EuroSys等)發(fā)表多篇論文，曾獲得EuroSys 2012的最佳論文獎(亞洲首篇)。多項研究成果已被轉(zhuǎn)化為產(chǎn)品并應用于實際生產(chǎn)。

演講議題：大規(guī)模流式增量計算及其在阿里巴巴的應用 直播時間：3月9日 15:20-16:00

議題簡介：實時化是大數(shù)據(jù)應用及分布式系統(tǒng)設(shè)計的重要發(fā)展趨勢，其中流式數(shù)據(jù)處理又是核心場景之一。本演講首先介紹一系列典型場景以及它們帶來的商業(yè)價值。隨后結(jié)合阿里巴巴真實場景，談?wù)劻魇接嬎愕募夹g(shù)挑戰(zhàn)及系統(tǒng)設(shè)計的關(guān)鍵問題。特別的，將介紹獨特的增量計算需求，及其與系統(tǒng)其它關(guān)鍵能力(如容錯)的設(shè)計交互和抽象。最后結(jié)合我們過去幾年的工作和思考，談?wù)剬ξ磥砹魇接嬎銘眉跋到y(tǒng)發(fā)展的展望。

聽眾預計受益：聽眾可以了解PAI機器學習的平臺的模型演進，尤其是阿里在面對大規(guī)模分布式機器學習難題的時候的解決思路。

1.了解大數(shù)據(jù)應用實時化趨勢下，流式數(shù)據(jù)處理的典型應用場景和商業(yè)價值。

2.了解流式數(shù)據(jù)處理在阿里巴巴真實場景中的應用與技術(shù)挑戰(zhàn)。

3.了解真實場景驅(qū)動的系統(tǒng)設(shè)計核心問題，及阿里云在服務(wù)阿里巴巴集團內(nèi)外場景中積累的思考和對未來的展望。

九豐阿里云高級專家

嘉賓簡介：九豐，阿里云大數(shù)據(jù)事業(yè)部高級專家，14年加入阿里云，一直從事PAI機器學習的平臺的建設(shè)。

演講議題：PAI分布式機器學習的平臺計算模型演進之路 直播時間：3月9日 16:00-16:40

議題簡介：隨著訓練數(shù)據(jù)規(guī)模的持續(xù)擴大，模型特征的持續(xù)增長，常用的機器學習算法面臨著越來越多的挑戰(zhàn)。從很多人熟悉的R語言，到基于MPI的多機的計算框架，再到支持超大規(guī)模特征的Parameter Server架構(gòu)，再到如今的深度學習計算框架，機器學習的平臺上的編程模型也在不斷演進，以滿足業(yè)務(wù)上持續(xù)的挑戰(zhàn)。本次主題主要和大家分享PAI分布式機器學習的平臺的多種編程模型的演進過程。

聽眾預計受益：聽眾可以了解PAI機器學習的平臺的模型演進，尤其是阿里在面對大規(guī)模分布式機器學習難題的時候的解決思路。

朋春阿里云高級技術(shù)專家

嘉賓簡介：阿里云高級技術(shù)專家，5年以上高吞吐數(shù)據(jù)傳輸平臺的研發(fā)經(jīng)驗，目前是MaxCompute數(shù)據(jù)通道團隊負責人。演講議題：MaxCompute數(shù)據(jù)上云與生態(tài) 直播時間：3月9日 16:40-17:20

議題簡介：玩大數(shù)據(jù)的第一件事情是如何將數(shù)據(jù)上傳到MaxCompute。在前臺存儲多樣化的形式下，數(shù)據(jù)上傳存在著多種多樣的需求；另一方面，網(wǎng)絡(luò)質(zhì)量的好壞又對傳輸過程中的時效性、吞吐量和容錯能力帶來了不小的挑戰(zhàn)。

本次演講會從MaxCompute提供的離線、實時數(shù)據(jù)通道入手，延伸到DTS、Logstash、DataX等官方/開源軟件，向大家介紹如何從數(shù)據(jù)庫、本地文件等多種存儲向MaxCompute導入數(shù)據(jù)。除此之外，還會涉及一些在Python和R語言中使用MaxCompute的介紹。

聽眾預計受益：

1、了解如何利用現(xiàn)有工具，快速地向MaxCompute導入數(shù)據(jù)；

2、了解不同網(wǎng)絡(luò)環(huán)境和存儲類型下的導入導出工具選擇；

3、通過示例了解如何在Python和R環(huán)境中使用MaxCompute。

無庸阿里云高級技術(shù)專家

嘉賓簡介：阿里云大數(shù)據(jù)計算服務(wù)MaxCompute框架負責人、高級技術(shù)專家，專注于高可用大規(guī)模分布式系統(tǒng)的平臺開發(fā)。

演講議題：高可用大數(shù)據(jù)計算平臺如何持續(xù)發(fā)布和演進 直播時間：3月9日 16:40-17:20

議題簡介：大數(shù)據(jù)服務(wù)如何持續(xù)發(fā)布和演進一直是業(yè)界的一個難題。成熟的大數(shù)據(jù)服務(wù)必須具備高可用、高穩(wěn)定、高安全、高效率等特點，與此同時，為了滿足用戶不斷增長的需求和規(guī)模，大數(shù)據(jù)服務(wù)需要不斷地完善功能提高性能，兩者之間存在著天然的矛盾。本次演講將會介紹阿里云大數(shù)據(jù)計算服務(wù)MaxCompute在解決這個難題中的一些方案和實踐。聽眾預計受益：1)大數(shù)據(jù)服務(wù)新功能在保障數(shù)據(jù)安全和用戶知識產(chǎn)權(quán)的前提下高覆蓋、高效率的測試方法；2)大數(shù)據(jù)服務(wù)保證高可用高可靠前提下灰度發(fā)布上線的方法。

場景應用篇

許鵬佰騰科技CTO

演講議題：專利大數(shù)據(jù)的云上裂變之路 直播時間：3月9日 14:00-14:40

議題簡介：專利大數(shù)據(jù)的大不在于數(shù)據(jù)的“多”，而在于數(shù)據(jù)的“寬”，專利數(shù)據(jù)每 拓寬一個比特都需要對原始數(shù)據(jù)進行多次的拆解和分析，傳統(tǒng)的計算技術(shù)很難滿足這種大 規(guī)模的數(shù)據(jù)挖掘需求，而阿里云的數(shù)加平臺為我們提供了更大的存儲、更高的性能、更好 的分析，讓我們實現(xiàn)了專利數(shù)據(jù)的快速裂變。

劉崢明源云大數(shù)據(jù)負責人

嘉賓簡介：明源云大數(shù)據(jù)負責人，多年來探索傳統(tǒng)行業(yè)大數(shù)據(jù)應用與變現(xiàn)，現(xiàn)在地產(chǎn)垂直領(lǐng)域負責行業(yè)大數(shù)據(jù)管理平臺整體規(guī)劃與建設(shè)。演講議題：地產(chǎn)大數(shù)據(jù)趨勢與應用實踐 直播時間：3月9日 14:40-15:20

議題簡介：大數(shù)據(jù)能夠?qū)Φ禺a(chǎn)行業(yè)的拿地決策、營銷、服務(wù)等業(yè)務(wù)帶來哪些幫助；明源如何通過阿里云將大數(shù)據(jù)業(yè)務(wù)場景落地；明源云大數(shù)據(jù)管理平臺的技術(shù)架構(gòu)

王洋小紅唇

個人簡介：王洋, 畢業(yè)于北京郵電大學計算機科學與技術(shù)系，研究生學歷。曾在IBM中國研發(fā)中心和Polycom中國研發(fā)中心從事軟件開發(fā)及管理工作。2014年作為創(chuàng)始團隊加入北京小魚兒科技有限公司，負責管理云端及移動端APP的開發(fā)。2016年加入小紅唇網(wǎng)絡(luò)科技有限公司，全面負責公司的研發(fā)管理。精通云服務(wù)、移動APP的架構(gòu)設(shè)計與開發(fā)，在大數(shù)據(jù)、實時音視頻系統(tǒng)等方面具有豐富的經(jīng)驗。演講議題：用大數(shù)據(jù)打造你的變美頻道 直播時間：3月9日 15:20-16:00

議題簡介：阿里數(shù)加平臺完整的大數(shù)據(jù)技術(shù)棧和易用性，使小紅唇公司快速建立了自己的數(shù)據(jù)分析、個性化推薦、機器學習等大數(shù)據(jù)核心應用。為小紅唇不斷擴大的業(yè)務(wù)提供了強有力的數(shù)據(jù)支撐，使用戶獲取變美內(nèi)容和商品變得易如反掌。普通的開發(fā)人員通過數(shù)加平臺迅速轉(zhuǎn)變?yōu)閿?shù)據(jù)工程師，而幾乎零運維又使得工程師們能夠?qū)Ｗ⒂跀?shù)據(jù)，不斷使數(shù)據(jù)產(chǎn)生的收益最大化。

劉立兼網(wǎng)聚寶首席架構(gòu)師

個人簡介：上海云貝網(wǎng)絡(luò)科技有限公司首席架構(gòu)師，數(shù)年來一直奮戰(zhàn)在電商大數(shù)據(jù)領(lǐng)域。經(jīng)歷了一個又一個618/1111/1212。對面向大數(shù)據(jù)的高可用、高性能、易擴展的分布式架構(gòu)技術(shù)有著深刻的理解，特別擅長基于云計算的系統(tǒng)架構(gòu)。演講議題：云上大數(shù)據(jù)，零售新思維 直播時間：3月9日 16:00-16:40

議題簡介：大數(shù)據(jù)的發(fā)展給各行各業(yè)都帶來了變化。網(wǎng)聚寶基于5年的零售業(yè)的數(shù)據(jù)服務(wù)沉淀，結(jié)合云上大數(shù)據(jù)能力，給企業(yè)客戶帶去了更多的可能性。