2015 年大數據 Big Data 新趨勢:Big Data Gets Little

作者 | 發布日期 2015 年 01 月 01 日 18:58 | 分類 Big Data , 網路
MTI2OTEyMzQ0ODQzMzkyMjc0

大數據 Big Data,這個用來形容資料爆炸量、多樣化以及數據更新快速的專有名詞,主要還是由物聯網傳感器、行動裝置…等小型設備所運算結果集結成的。



有人預測 2015年,將是大數據 Big Data 相當成功的一年。諷刺的是,這裡指的不是因為他們能精通 Hadoop 或 Spark 等複雜卻高效率的分布式計算系統。反過來說,2015 年我們將使用更優於 Hadoop 工具的方式,來處理過去使用大數據時伴隨而來的問題。

其中最大的變化在於,能有效佈署與管理收納網路服務的 Docker、企業計算容量等…開源技術的崛起,但相較於大數據能造成的潛在影響力還是相形見絀。知名彈性整合公司 SnapLogic 的 Darren Cunninhgam 更強調,幾乎所有具指標性的大企業,趨勢顯示最終還是會回歸數據基本面。

 

未命名 -1拷貝

▲ SnapLogic 公司的 Darren Cunninhgam 在 Twitter 以 Big、small、fast、slow…等來形容大數據Big Data 千變萬化特性。

 

但問題是,大多時刻我們探討這些數據的機會,遠多於投入實際使用。早在 2013 年,Darren Cunninhgam 即指出每個人都知道他們需要做的事情與大數據息息相關,但實際上卻很少人懂得如何運用。即便 2014 年都快已過完,這現象始終沒改變。大多數企業仍然沒有對這些數據資料花費太多心思,甚至對一些人來說這更是個複雜難題,除了專業科學家會好好使用外,這些付費就能取得的 open-source 工具,對一般人來說要使用實在太困難了。

甚至多數人對大數據長久下來一直充滿誤解。舉個例子,來自 Bloomberg(專業財經媒體)負責人Matt Hunt 宣稱:「在 Bloomberg 我們並沒有大數據問題,反而是有中量資訊(medium data)問題,這裡指的中量資訊指的是量夠大、但適用於單一設備上,但並不需要龐大巨量的集群數據,相當於 Terabytes 兆位元,而不需要達 PB 等級。」

日前與相關 IT 機構合作的 NewVantage 透過調查表示,大數據能以 PB 等級的驚人單位產生新聞,但大多數企業實際上也只需要管理到 Terabytes 等級的數量。只有 28% 的人認為,與其挑戰大數據所帶來龐大的資料數據,他們更關心的是資料種類多樣性與更新速度。

在即將邁入 2015 年此刻,許多企業仍因被迫使用 Hadoop 工具來面對他們的數據而飽受掙扎,特別當他們不斷使用這些錯誤工具,套用在只能處理中量資訊資料的應用程序中。

提到 2015 大數據 Big Data 趨勢,用「Big Data Gets Little」這句話就能看出端倪。有鑑於物聯網之於行動裝置的重要性,我們不能再單純以近乎失去判斷力、甚至盲從迷信的心態面對這些大數據工具。不過,Hadoop 是否還能像今年在物聯網中扮演重要角色?

Cloudera 公司創始人之一 Mike Olson 認為:「新一代數據庫技術,並不會去破壞現有大企業習於使用的 OLTP 及OLAP 等結構化數據處理與分析的市場,它雖然擁有前所未有的對於新數據分析與解鎖能力,甚至能讓我們以不同觀點去瞭解這世界上各種事物,無論是創造新機會或新市場,對大數據來說基本上還是須依靠物聯網,才能創造出更巨大機會。」

不過對 Hadoop 來說,雖為目前最理想用來處理大量數據的工具,卻沒有足夠即時分析數據的能力。為能有效追蹤物聯網數據,NoSQL 數據庫對 Hadoop 來說扮演重要輔助角色,使得能夠即時回應實用數據成為可能。

有鑑於物聯網產生數據(包括透過全新傳感器、全新的數據類型…等)不斷變化的特性,像 NoSQL 這樣的數據庫是必須存在的,Machina 在一份研究中更假設:「從來自愈來愈多不同傳感器、設備、或應用程序產生出愈來愈多的指數,一個事件會伴隨出更多樣化結構數據,這些附加數據範圍從企業系統到眾包數據,都必須經過整合才能傳成有效資料。」

很多大數據工作迄今已將 Hadoop 與相關數據庫系統或 RDBMS 做整合,但這卻不是最理想的整合方式。根據權威 IT 行業分析機構 Gartner 指出,「因為物聯網與各種行動裝置應正迫使我們思考產生變化,並影響到我們之於這些數據的互動方式。」

在 2015 年,更多的大數據將同步從企業數據資料庫轉移至 Hadoop 端、或從嚴謹的 RDBMS 轉移到更靈活的 NoSQL。毫無疑問地,物聯網是成為這場變革的最大驅動力。

(來源:readwrite

延伸閱讀 :

關鍵字: , ,

發表迴響