分享

你必須知道大數據的兩三事

大數據 巨量資料 分析方法 人工智慧 大數據分析
大數據或稱為巨量資料,這個名詞已經是我們日常生活可以聽見或遇見的,無論是科技業的生產、商業上的人事管理、專案管理,或是為了財務自由的量化投資都離不開大數據。網上也很多人談論過大數據,那我幹嘛再說著同樣的事情呢?
不得不說「大數據」就好像資工或資管的武林大會號召令,像屠龍寶刀般號令天下,誰與爭鋒。這讓一般人感覺高大上,肯定要學程式才會的東西,真是如此?今天我就來說說大數據你得知道的三件事情吧!這是從分析方法和商管角度來了解大數據。

1. 介紹大數據

大數據在2001年由META Group的分析人員提出,並定義了大數據要符合3V(量大、速度、多樣性)的原則。2012年修改定義:「巨量資料是大量、高速、及/或多變的資訊資產,它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理。」在這個定義中,可以歸納出一下特性:
  • 3V
  • 新的處理方式
  • 產生決策、洞察、最佳化
以上是觀察數據資料形成資訊的狀況形成的定義。對商業與管理者來說,在意的是第三個特性,要做決策判斷用!可是想做決策判斷,你得先達到
  • 資料搜集的正確性
  • 資料建模的精準性

2. 數據分類就是這樣

從3V的概念中,可以反映所謂的大數據不只是一個時間點的空間數據資料,而是時時刻刻發生並寫入資料庫的空間資料。簡單地說就是用時間和空間累積出來的龐大資料!這些資料的種類很多樣,可以是數字、文字、圖片、影音等。
因此,數據可分為結構性、非結構性與半結構性。這是資訊專業的分類。就分析方法來看,結構性資料以數字類資料為主,可以做加減乘除,還能複雜數學運算。我們所學當中,國小之前是計數;國小之後開始數學的運算,都是基於數字而來。所以數字類資料可以套用我們過去所學的數學方法,進行分析、建模、預測等
非結構性資料包含文字、圖像、影音等等。計數的運用是從小就會,也是最粗糙的方法!無論是圖像、影音,或是文字寫作都能夠用計數的方式來記錄。例如,按讚;觀看的次數等。
在資訊專業上則認為圖像或影音不只是計數而已,還要去解析圖像(影音)、還原圖像(影音)、模擬圖像(影音)等。甚至希望建立數學模型,有建模技術堪稱一絕。只是建模要建得好,數學必不可少!要注意一點,既然是電腦記錄,那就是數字0與1的記錄,是間斷型數字。一般使用的分析方法就是比對、相似等手法,精確度不及數字建模。
綜合上述,就其分析方法來看,其實就是數字類資料和非數字類資料而已。一個可以用數學方法,建立數學模型,而另一種則要基於計數方法進行分析。

3. 大數據

所謂大數據的大,來自時間的積累,空間大積累。因為量太大了,資料內容就雜且亂!正所謂希望亂中有序,所以我們在做大數據分析的目的就是從量大、雜且亂的數據中找出規律。
我們希望這個規律是個數學模型,可能很簡單,可能很複雜,但肯定要精確!為什麼要求精確與精準模型呢?唯有如此,模型的模擬才是真正的「擬真」。唯有如此,模型的預測才會準!
在大數據分析中,可以看趨勢,這是長期的路徑,但不會精準的!短期波動如何也不是趨勢走向要考慮的。這點在迴歸分析、商業預測、經濟預測,看趨勢就是指這個道理。
那大數據分析還需要更強悍的功能:短期一樣準確!這種預測是基於準確的模型上,才能判斷精準,避免短期大出血!甚至要預判馬上可能要大失血的監測機制!
以上分享給朋友們大數據的兩三事。相關課程已經在大學的實體和線上課程中教授分析手法。至於開放給非學生上課,時間未定,有興趣在下方留言,並且關注「阿LEE愛掃雷」。
#bigdata #datascience #statistics #artificialintelligence #AI    
#人工智能 #分析方法 #商管    
#大數據  #巨量資料  #分析方法  #人工智慧  #大數據分析 
分類:科技

🟠掃除觀念的雷點🟠算學的運用🟠建模技術🟠大數據分析方法🟠人工智慧分析方法

評論
上一篇
  • 人工智慧的新技術介紹
  • 下一篇
  • 機率不是預測的工具
  • 更多文章
    載入中... 沒有更多了