網路資訊／企業資料淘金術 Big Data三大主流入門實戰
近年來Big Data迅速爆紅，面對巨量資料洪流，當前企業最迫切想知道的莫過於，如何去蕪存菁地從中擷取出商業智慧？如何尋求符合自己現況、目標與需求的不同階段解決方案？不同階段下需要什麼樣的人才？如何培養？藉由這次的報導，將帶領讀者瞭解臺灣有哪些先驅已經開始運用Big Data來取得商機，還有他們是如何做的！
巨量資料三樣貌DB、search、Hadoop各領風騷
直到現在爲止，巨量資料(Big Data)做爲當前最熱門的話題之一已經延燒了一年多， 相信許多人對於這個議題不致於太過陌生。即使不見得每個企業都有處理巨量資料的必要性與迫切性，但多少能夠感受它是改變今後資料儲存、處理、分析與使用的重要驅動力，甚至會對今後企業決策， 乃至商業流程的改善、新應用的開發、客戶服務的強化與競爭力的提升都會有巨大的衝擊與影響。
資訊的重要性，從古至今、從個人到企業再到國家皆然，資訊的掌握可以讓個人成爲博學之士而受人敬重，資訊的掌控也可讓企業與國家分別在商場與戰場上打贏勝仗。
隨着各類型資料量的激增，個人早已經歷過資訊爆炸的洗禮，如今企業更進一步地被捲入巨量資料的洪流之中，如何快速有效且精準地從浩瀚的資料大海中萃取出能夠滿足，甚至引領顧客需求，並在商場上出奇致勝的智慧，儼然成爲當前企業不可避免的最大考驗與挑戰， 否則企業不是被一波又一波的資料洪流所吞噬，就是被巨量無用甚至有害的內容所拖累。
面對巨量資料洪流，當前企業最迫切想知道的莫過於，如何去蕪存菁地從中擷取出商業智慧？如何尋求符合自己現況、目標與需求的不同階段解決方案？新方案與擷取的資訊如何與企業既有流程、系統、應用、服務及人力相整合？不同階段下需要什麼樣的人才？如何培養？
事實上，企業對於資料的蒐集、處理與分析不會太過陌生，畢竟同樣的事情，在處理結構性資料時便早已親身經歷過，其目的一樣是從中萃取出商業智慧精華，只不過今天碰到的是更多、再多、超級多的資料，且比例上會是以半結構性與非結構性資料居多的新局面罷了。由於傳統與結構性資料較活絡的資料庫、資料倉儲與商業智慧，無法直接搞定這些資料新成員的蒐集、儲存、轉換、處理及整合問題，這方面需要全新的技術、架構與平臺來面對。講明白點，只要將半結構性與非結構性資料轉換成爲傳統資料庫及資料倉儲看得懂的樣子，那麼傳統資料分析體系一樣能爲企業從中擷取出可幫助企業做出重大決策的商業智慧。
說穿了，當前巨量資料技術主要就是搞定半結構性與非結構性資料，畢竟結構性資料再怎麼爆量，傳統資料庫及資料倉儲皆可輕鬆駕馭。
同時，爲了更精準掌握產品良率、客戶脾胃與市場脈動，將更多的半結構性與非結構性資料一併納入分析自然成爲非常重要的事情。
如果企業決定迎接巨量資料， 那麼勢必要面臨巨量資料處理的3個基本階段，首先要面對的莫過於半結構性與非結構性資料的擷取與儲存，由於這類資料的數量太過龐大，所以傳統技術架構很難符合成本地解決儲存問題，於是乎Hadoop遂應運而生，成爲解決巨量資料的當紅炸子雞。
接下來是將整並好的資料，交由資料倉儲來進行資料分析、處理及轉換，這是整個巨量資料處理階段中最關鍵也最複雜的一環，對於一些擁有特定需求的企業，若要滿足特定應用之分析需求的話，可能得藉助資料科學家(Data Scientist) 的協助。相對於過去資料分析師來說，資料科學家不但具備數學、統計及演算法等專家背景，在透過特定演算法開發出應用模型的同時，也能清楚描繪出模型背後所敏銳察覺出的特定市場應用商機輪廓。當然，並非所有企業都有挖掘特定應用的需求與必要，自然也不一定非得聘請昂貴的資料科學家不可，全憑企業需求及預算而定。
至於第3個階段亦即商業智慧的報表或儀表板呈現，讓經由上述2 個步驟獲取的資訊，轉變成爲企業各面向重大決策的有力參考。這方面可以透過傳統商業智慧方案進行，不過，目前市場上已出現標榜支援In-memory Computing或In-memory DB技術，且效能更精進的商業智慧方案。
當前舉凡傳統資料庫、資料倉儲、商業智慧廠商、系統整合商及代理商，甚至搜尋式的商業智慧廠商等，莫不看好巨量資料的龐大商機。
當然這些廠商所推出的解決方案種類繁多，有的提供資料擷取及儲存的專屬設備，有的則全力投入資料分析或商業智慧領域，也不乏上述3個階段都有產品提供的整體方案商。原則上，3個階段中的後2個階段，仍然是傳統資料倉儲及商業智慧廠商的天下，不過兩者自然地特別爲巨量資料進行最佳化及改版。
爲了兼顧全面性，本文將介紹進入巨量資料3種不同面貌及專業背景的廠商及解決方案，不同需求的不同企業，都可以從中找到屬於自己的巨量資料解決方案。
其中，資料庫廠商出身的甲骨文，提供了從資料擷取、儲存，到資料倉儲分析，再到商業智慧呈現的整體解決方案。
麗臺科技看好並代理達梭系統具備介面與化繁爲簡能力的搜尋式商業智慧方案，企業可以透過親和搜尋引擎找出巨量資料的新藍海。
系統整合商精誠資訊，結合IT as a Service、諮詢顧問及教育訓練的實力，提供自家開發的Hadoop設備型巨量資料解決方案，協助企業避開艱澀的Hadoop技術門檻，快速擁抱巨量資料的好處。
網路資訊256期