微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

微軟 TechDays Taiwan 2014 Day1 課程心得分享 Big Data 解決方案 Microsoft Analytics Platform System

開場篇 微軟 TechDays Taiwan 2014 Day1 主題演講  之後,陸陸續續接下來還會把上過後覺得超精彩的課程內容,一一整理給大家~

這次我自己主修 “商業智慧“,副修 “Azure雲端服務“,有空檔再來了解微軟的其他周邊服務 如CRM這些~

主題演講後 我選了" DBI201 2014 微軟 Big Data 解決方案:大型 MPP 平行運算資料倉儲系統 Microsoft Analytics Platform System (結合新一代的 SQL Server Parallel Data Warehouse 與 100% Apache Hadoop 技術) "  有夠長的題目~~

講者有三人   唐建孟. 王恩琦. 謝松樺

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

大數據 大資料其實以往的實際只能做到 “倉儲" 這部分,由於資料量太大,是不太可能拿來"分析與運算" 的,但由於近年來資料庫技術發展和周邊硬體的價格下降,資料分析才漸漸變成"可以執行" 的現象~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

這是傳統對於 資料庫 處理時的"正常認知和流程方式" !  MS SQL 也是一直以來這樣的學習方式~

收集整理資料來源、 透過建立ETL 作模型,上層資料倉儲、最後透過報表服務進行分析並產出報表~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

但今日的資料量 遠遠大於以前~  並且除了原本資料來源 屬 “結構化資料“,現在還多了一堆 如 LOG檔案資料、Facebook社群網站 資料…這些 “非結構化性資料“,資料的多元化、多樣性 是非常複雜的~ 也不太可能先靠人來處理整理之後再進行分析。

新的結構和流程也已經不是我們以往認知的形式了。

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

更重要的地方! 分析資料 重點不是在硬體系統或是架構上頭,而是在"如何運用" 這一塊上頭!

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

說起大數據、那不能不提到近幾年流行的 “Hadoop" 了!!

Apache Hadoop是一款支持數據密集型分佈式應用並以Apache 2.0許可協議發佈的開源軟體框架  (參考wiki)

看來微軟現在真的是和 Apache  手牽手、心連心~ 共創連體嬰 了啊~~~

XD

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

透過這隻可愛大象 “Hadoop"  的技術方案,MS資料庫更加強悍了啊!!!  加上之前記憶體快速資料處理量等處理技術,這邊給個參考:

40億筆+40億筆 資料處理 你猜多久可完成呢?    答案是 8秒!!

哇~  好厲害喔~~~

這邊我找了這篇 文章 給有興趣更認識  “Hadoop"  的朋友們參考一下了~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

又一堆新名詞出現啦!!  Microsoft Analytics Platform System 簡稱APS !!   這個架構方式也改變了"大型資料庫" 系統喔!

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

當然~ 搞軟體的微軟硬體也是拉了不少外頭廠商合作!  有DELL、HP 和今天的主角 “Quanta" 廣達電腦!

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

有接觸過 大型資料庫系統的朋友一定知道這個圈子,長期以來是被某幾家"高端公司" 獨佔許久的~ 並且一談到那種"大資料庫“硬體,那價格都可以在台北買棟房子了~~ 這個以APS架構整合的資料庫設備,雖然價格還是粉貴~ 但和傳統那幾家的設備相比,可以說 “親民“不少~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

我這部分細節,好幾年沒再接觸資料庫硬體嚕~~  也已經有斷層了~  太多有聽沒有懂的玩意~

這部分留給熟悉的朋友們參考了~ 簡單的說、廣達配合微軟APS的方案,看起來是真的不賴~ 未來希望能有機會理解更多技術上的背景之後,再來跟朋友們推薦了~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

背後支持端靠這"強大的軟硬體結合" 前端呢~ 嘿嘿~~  則是我們熟悉不過的老朋友~~  Excel 了喔~~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

微軟這幾年了解到 前端最強悍的 商業分析工具,不是什麼 SQL指令、特別工具,而是大家早就使用非常上手的 Excel試算表!

Excel 2013 + Power BI (目前有 Power Query、Power Pivot、Power View、Power Map 四大塊) 就是最好的商業分析工具!

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

從以前資料分析 老闆總是要先跟資訊處理人員、資料庫管理人員 先下需求,等待資料撈出後整理、處理,從原本需要好幾個工作天變成當下可以處理完成,這個改變是非常不同的!

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

若配合雲端Office 365服務(請參考 我的這幾篇文章),真的太理想了!!

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

還有個讓我眼睛一亮的 新東西!!  自然語言查詢方式!!  簡單說~ 不用懂任何程式語言、資料處理語法,打入關鍵字(未來聽說還有語音輸入的支援) !! 就可以帶出你需要的各項分析報表!!  夭壽~~  怎麼這麼辦!!!!

這個功能~ 之後我在尹相志老師的簡報分享文章中,還會再多做細部的介紹了~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

因為跨平台的需求! 微軟不再堅持只用自家 銀光 Silverlight 技術,也願意接受 Html 5了!! 這也相對可以讓其他裝置平台呈現動畫效果~ 好事啊~ 真是一件好事啊~~~  終於 ! 跨平台 是句 “進行式" 了!!

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

再來一張圖表,整理一下  Microsoft Analytics Platform System 簡稱APS 吧~~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

這一場~ 讓我收穫不少~~   微軟的APS解決方案看來是個不錯的新架構,整合好前端分析工具、後端不想要資料放雲端的就透過這架構,

大數據資料量真的有一個很完整的處理分析方式,真的很不賴~~

微軟 TechDays Taiwan 2014 Day1 主題演講 心得分享 Big Data 解決方案 Microsoft Analytics Platform System

最後~~  看一下這次 微軟 TechDays Taiwan 2014  收集到的小贈品吧~  我最喜歡的是那包"爆米花" 還有 那顆小盆栽 ! 他內建是個按摩用的鐵珠子,還滿有趣的喔~~~   今年廠商提供的小東西除了筆很沒創意外,其他還不賴~

呼~  第一天~ 真的累人!  上課比上班還辛苦喔~~~~

微軟 TechDays Taiwan 2014 系列文章:

Day1 主題演講 心得分享 Mobile First Clound First 台灣微軟 紹光華

Day1 課程心得分享 Big Data 解決方案 Microsoft Analytics Platform System

Day1 課程心得分享 新世代雲端大數據 Machine Learning 亞洲資採 尹相志

Day2 課程心得分享 善用 Power BI 讓你的數據說話 亞洲資採 尹相志

Day2 課程心得分享 Enterprise Mobility Suite EMS / Azure Storage / Dynamics CRM Online

Day3 課程心得分享 企業版Facebook 社群平台 yammer / 商業分析利器 Power BI 吳翠鳳

Day3 課程心得分享 Power Query 亞洲資採 尹相志 / Azure 服務應用與架構 恆逸 蘇建榮

吳 天元

溫厝的543大家長,平常沒時就愛碎碎唸,標準的阿宅。 平時就愛看電影、研究網路行銷,有時間當然也愛陪伴著家人! 總希望世界和平之外,更希望能看看外星人到底長啥模樣了!

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *