如何將大數據分析應用在我們生活中?

Alt text

  大數據儼然已在我們生活之中,而且正在改變我們的生活,從各種服務業、零售業、工廠到醫療、體育、金融交易,都可以用大數據來分析走向,連選舉都可以用大數據來分析選民的年齡、政治參與度等來做不同的宣傳。這麼多元的用途,我們要從哪裡開始著手瞭解呢?

首先要先明白,大數據的定義:

什麼是大數據?



  大數據( Big Data )是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的數據集合。
  最早由 Gartner 公司的分析師 Doug Laney 在 2001 年發表的 「3D Data Management : Controlling Data Volume, Velocity, and Variety.」
  文中以「3V」為基準,分別是 Volume (資料量大小)Velocity (資料輸入輸出的速度)Variety (多樣性)
  2012 年 Doug Laney 給予大數據一個全新的定義 :「大數據是大量、高速、及/或類型多變的資訊資產,它需要全新的處理方式,去促成更強的決策能力、洞察力與最佳化處理。」,並增加了第四個「 V 」, Veracity (真實性)

四個大數據的常見應用



1.幫助我們理解客戶、提供客戶所需之服務

  大數據幫助我們分析客戶,透過社交媒體找尋精準客戶,了解客戶的行為和喜好,分析客戶行為模式。大多數情況下,這裡總的目標是創建預測模型。例如可以通過使用大數據,使電信公司現在可以更好地預測客戶流失,成衣店可以更好地預測哪些產品將會熱賣,而政府則能夠了解選民的偏好。

2.幫助業務流程優化

  利用從社交媒體數據、網路搜索趨勢以及天氣預報挖掘出的預測信息,使得零售商能夠優化其庫存。或是供應鏈或配送路線優化,在這方面,地理定位或無線電頻率識別傳感器被用來追蹤貨物或送貨車,並通過整合實際交通數據來優化路線。

3.幫助醫療研發與病情分析

  大數據的計算能力能幫助我們在幾分鐘之內解碼DNA,幫助我們找到新的治療方法,也可以更好的理解病患狀況以及預測其結果。大數據技術已經被用來監視早產嬰兒以及患病嬰兒。通過記錄和分析每次心跳以及呼吸模式,醫生現在可以在任何身體不適症狀出現之前預測24小時的情況。這樣,醫生就可以更早地救助患病嬰兒。

4.幫助體育選手提高成績

  運動員可以利用大數據分析場上球員的表現,從賽前運動員的身體狀況、心理狀況,比賽過程中的天氣狀況、賽場周圍環境以及運動員場上表現都會影響比賽。而比賽的輸贏,除了賽場上運動員連續的快速反應之外,比賽策略和戰術的及時調整也是獲勝的關鍵。因此,數據採集的全面性和及時性尤為重要。誰的運動數據更精細準確,誰就爭取到了獲勝先機。

學會大數據分析需要具備什麼技能?



1. 程式語言
  程式語言百百種,若想著手數據分析,建議必學一種程式語言,那麼哪種最適合做數據分析呢?我們建議使用 Python 或 JAVA 或是 R 。

  • R 語言
    R 最棒的資產就是活躍的動態系統,R 社群持續地增加新的軟件包,還有以內建豐富的功能集為特點。目前估計已有超過 200 萬人使用 R,最近的調查顯示,R 在資料科學界裡,到目前為止最受歡迎的語言,佔了回覆者的 61%(緊追在後的是 39% 的 Python)。
  • Python
    Python 結合了 R 的快速、處理複雜資料採礦的能力以及更務實的語言等各個特質,迅速地成為主流,Python 比起 R,學起來更加簡單也更直觀,而且它的生態系統近幾年來不可思議地快速成長,在統計分析上比起 R 功能更強。
    延伸閱讀:為什麼 Python 可以做數據分析?

  • Java
    Java具有簡單性、物件導向、分布式、健壯性、安全性、平台獨立與可移植性、多線程、動態性等特點。最重要的是,Hadoop以及其他大數據處理技術很多都是用Java,例如Apache的基於Java的HBase和Accumulo以及 ElasticSearchas,因此學習Hadoop的一個首要條件,就是掌握Java語言編程。
    延伸閱讀:Java的魅力

2.資料庫

3.數據分析的應用工具

  • Hadoop 為處理一批批資料處理,發展以 Java 為基礎的架構關鍵;相較於其他處理工具,Hadoop 慢許多,但是無比的準確和可被後端資料庫分析廣泛使用。

  • Spark 因為其處理數據的方式不一樣,會比 MapReduce 快上很多。 MapReduce 是分步對數據進行處理的;反觀 Spark ,它會在內存中以接近“實時”的時間完成所有的數據分析,Spark 的批處理速度比MapReduce 快近10 倍,內存中的數據分析速度則快近 100 倍。

大數據的型態及發展會不斷的演化,要在這個時代中求生存,除了技能之外,觀察力、創造力和解決問題能力的重要性也不可忽視,讓我們一起培養大數據的世界觀!



我想趕快跟上大數據的腳步!