歡迎來到福州云動力傳媒有限公司

聯系電話:0591-87575726

公司新聞

INFORMATION CENTER
您的位置:首頁 > 公司新聞 > 行業動態

大數據時代

發布日期:2018-07-31瀏覽次數:7

現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。

 

隨著云時代的來臨,大數據(Big data)也吸引了越來越多的關注。大數據(Big data)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

 

在現今的社會,大數據的應用越來越彰顯他的優勢,它占領的領域也越來越大,電子商務、O2O、物流配送等,各種利用大數據進行發展的領域正在協助企業不斷地發展新業務,創新運營模式。有了大數據這個概念,對于消費者行為的判斷,產品銷售量的預測,精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。

 

"大數據"在互聯網行業指的是這樣一種現象:互聯網公司在日常運營中生成、累積的用戶網絡行為數據。這些數據的規模是如此龐大,以至于不能用GT來衡量。

 

大數據到底有多大?一組名為"互聯網上一天"的數據告訴我們,一天之中,互聯網產生的全部內容可以刻滿1.68億張DVD;發出的郵件有2940億封之多(相當于美國兩年的紙質信件數量);發出的社區帖子達200萬個(相當于《時代》雜志770年的文字量);賣出的手機為37.8萬臺,高于全球每天出生的嬰兒數量37.1萬……

 

截止到2012年,數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司(IDC)的研究結果表明,2008年全球產生的數據量為0.49ZB2009年的數據量為0.8ZB2010年增長為1.2ZB2011年的數量更是高達1.82ZB,相當于全球每人產生200GB以上的數據。而到2012年為止,人類生產的所有印刷材料的數據量是200PB,全人類歷史上說過的所有話的數據量大約是5EBIBM的研究稱,整個人類文明所獲得的全部數據中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的數據規模將達到今天的44倍。 每一天,全世界會上傳超過5億張圖片,每分鐘就有20小時時長的視頻被分享。然而,即使是人們每天創造的全部信息--包括語音通話、電子郵件和信息在內的各種通信,以及上傳的全部圖片、視頻與音樂,其信息量也無法匹及每一天所創造出的關于人們自身的數字信息量。

 

這樣的趨勢會持續下去。我們現在還處于所謂"物聯網"的最初級階段,而隨著技術成熟,我們的設備、交通工具和迅速發展的"可穿戴"科技將能互相連接與溝通。科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬件、軟件、人才及服務之上的商業投資也增長了整整50%,達到了4000億美元。

 

折疊大數據的精髓

 

大數據帶給我們的三個顛覆性觀念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關關系,而不是因果關系。

 

A.不是隨機樣本,而是全體數據:在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴于隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術讓我們意識到,這其實是一種人為限制);

 

B.不是精確性,而是混雜性:研究數據如此之多,以至于我們不再熱衷于追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著規模的擴大,對精確度的癡迷將減弱;擁有了大數據,我們不再需要對一個現象刨根問底,只要掌握了大體的發展方向即可,適當忽略微觀層面上的精確度,會讓我們在宏觀層面擁有更好的洞察力;

 

C.不是因果關系,而是相關關系:我們不再熱衷于找因果關系,尋找因果關系是人類長久以來的習慣,在大數據時代,我們無須再緊盯事物之間的因果關系,而應該尋找事物之間的相關關系;相關關系也許不能準確地告訴我們某件事情為何會發生,但是它會提醒我們這件事情正在發生。

 

折疊數據價值

 

大數據時代,什么最貴?

 

十年前,葛大爺曾說過,"21世紀什么最貴?"--"人才",深以為然。只是,十年后的今天,大數據時代也帶來了身價不斷翻番的各種數據。由于急速拓展的網絡帶寬以及各種穿戴設備所帶來的大量數據,數據的增長從未停歇,甚至呈井噴式增長。

 

一分鐘內,微博推特上新發的數據量超過10;社交網絡"臉譜"的瀏覽量超過600萬……

 

這些龐大數字,意味著什么?

 

它意味著,一種全新的致富手段也許就擺在面前,它的價值堪比石油和黃金。

 

事實上,當你仍然在把微博等社交平臺當作抒情或者發議論的工具時,華爾街的斂財高手們卻正在挖掘這些互聯網的"數據財富",先人一步用其預判市場走勢,而且取得了不俗的收益。

 

讓我們一起來看看--他們是怎么做的。

 

這些數據都能干啥。具體有六大價值:

 

1、華爾街根據民眾情緒拋售股票;

 

2、對沖基金依據購物網站的顧客評論,分析企業產品銷售狀況;

 

3、銀行根據求職網站的崗位數量,推斷就業率;

 

4、投資機構搜集并分析上市企業聲明,從中尋找破產的蛛絲馬跡;

 

5、美國疾病控制和預防中心依據網民搜索,分析全球范圍內流感等病疫的傳播狀況;

 

6、美國總統奧巴馬的競選團隊依據選民的微博,實時分析選民對總統競選人的喜好。

 

折疊可視化

 

"數據是新的石油。"亞馬遜前任首席科學家Andreas Weigend說。Instagram10億美元出售之時,成立于1881年的世界最大影像產品及服務商柯達正申請破產。

 

大數據是如此重要,以至于其獲取、儲存、搜索、共享、分析,乃至可視化地呈現,都成為了當前重要的研究課題

 

"當時時變幻的、海量的數據出現在眼前,是怎樣一幅壯觀的景象?在后臺注視著這一切,會不會有接近上帝俯視人間星火的感覺?"

 

這個問題我曾請教過劉建國,中國著名的搜索引擎專家。劉曾主持開發過國內第一個大規模中英文搜索引擎系統"天網"

 

要知道,劉建國曾任至百度的首席技術官,在這樣一家每天需應對網民各種搜索請求1.7億次(2013年約為8.77億次)的網站中,如果只是在后臺靜靜端坐,可能片刻都不能安心吧。百度果然在提供搜索服務之外,逐漸增添了百度指數,后又建立了基于網民搜索數據的重要產品"貼吧"及百度統計產品等。

 

劉建國沒有直接回答這個問題,他想了很久,似乎陷入了回憶,嘴角的笑容含著詭秘。

 

倒是有公司已經在大數據中有接近上帝俯視的感覺,美國洛杉磯就有企業宣稱,他們將全球夜景的歷史數據建立模型,在過濾掉波動之后,做出了投資房地產和消費的研究報告。

 

在數據可視化呈現方面,我最新接收到的故事是,一位在美國思科物流部門工作的朋友,很聰明的印度裔小伙子,被Facebook高價挖角,進入其數據研究小組。他后來驚訝地發現,里面全是來自物流企業、供應鏈方面的技術人員和專家,"Facebook想知道,能不能用物流的角度和流程的方式,分析用戶的路徑和行為。"

 

折疊編輯本段特征

 

數據量大(Volume)

 

第一個特征是數據量大。大數據的起始計量單位至少是P(1000T)E(100萬個T)Z(10億個T)

 

類型繁多(Variety)

 

第二個特征是數據類型繁多。包括網絡日志、音頻、視頻、圖片、地理位置信息等等,多類型的數據對數據的處理能力提出了更高的要求。

 

價值密度低(Value)

 

第三個特征是數據價值密度相對較低。如隨著物聯網的廣泛應用,信息感知無處不在,信息海量,但價值密度較低,如何通過強大的機器算法更迅速地完成數據的價值"提純",是大數據時代亟待解決的難題。

 

速度快、時效高(Velocity)

 

第四個特征是處理速度快,時效性要求高。這是大數據區分于傳統數據挖掘最顯著的特征。

 

既有的技術架構和路線,已經無法高效處理如此海量的數據,而對于相關組織來說,如果投入巨大采集的信息無法通過及時處理反饋有效信息,那將是得不償失的。可以說,大數據時代對人類的數據駕馭能力提出了新的挑戰,也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

 

折疊編輯本段思維變革

 

當數據的處理技術發生翻天覆地的變化時,大數據時代,我們的思維也要變革。

 

第一個思維變革:利用所有的數據,而不再僅僅依靠部分數據,即不是隨機樣本,而是全體數據。

 

第二個思維變革:我們唯有接受不精確性,才有機會打開一扇新的世界之窗,即不是精確性,而是混雜性。

 

第三個思維變革:不是所有的事情都必須知道現象背后的原因,而是要讓數據自己"發聲",即不是因果關系,而是相關關系。

 

 

 

個案一

 

你開心他就買你焦慮他就拋

 

華爾街"德溫特資本市場"公司首席執行官保羅·霍廷每天的工作之一,就是利用電腦程序分析全球3.4億微博賬戶的留言,進而判斷民眾情緒,再以"1""50"進行打分。根據打分結果,霍廷再決定如何處理手中數以百萬美元計的股票。

 

霍廷的判斷原則很簡單:如果所有人似乎都高興,那就買入;如果大家的焦慮情緒上升,那就拋售。

 

這一招收效顯著--當年第一季度,霍廷的公司獲得了7%的收益率。

 

個案二

 

國際商用機器公司(IBM)估測,這些"數據"值錢的地方主要在于時效。對于片刻便能定輸贏的華爾街,這一時效至關重要。曾經,華爾街2%的企業搜集微博等平臺的"非正式"數據;如今,接近半數企業采用了這種手段。

 

"社會流動"創業公司在"大數據"行業生機勃勃,和微博推特是合作伙伴。它分析數據,告訴廣告商什么是正確的時間,誰是正確的用戶,什么是應該發表的正確內容,備受廣告商熱愛。

 

●通過喬希·詹姆斯的Omniture(著名的網頁流量分析工具)公司,你可以知道有多少人訪問你的網站,以及他們呆了多長時間--這些數據對于任何企業來說都至關重要。詹姆斯把公司賣掉,進賬18億美元。

 

●微軟專家吉拉德喜歡把這些"大數據"結果可視化:他把客戶請到辦公室,將包含這些公司的數據圖譜展現出來--有些是普通的時間軸,有些像蒲公英,有些則是鋪滿整個畫面的泡泡,泡泡中顯示這些客戶的粉絲正在談論什么話題。

 

"臉譜"數據分析師杰弗遜的工作就是搭建數據分析模型,弄清楚用戶點擊廣告的動機和方式。

 

處理和分析工具

 

用于分析大數據的工具主要有開源與商用兩個生態圈。

 

開源大數據生態圈:

 

1Hadoop HDFSHadoopMapReduce, HBaseHive 漸次誕生,早期Hadoop生態圈逐步形成。

 

2. Hypertable是另類。它存在于Hadoop生態圈之外,但也曾經有一些用戶。

 

3NoSQLmembaseMongoDb

 

商用大數據生態圈:

 

1、一體機數據庫/數據倉庫:IBM PureData(Netezza), oracleExadata, SAP Hana等等。

 

2、數據倉庫:TeradataAsterData, EMC GreenPlum, HPVertica 等等。

 

3、數據集市:QlikViewTableau 、 以及國內的Yonghong Data Mart

 

折疊編輯本段產業崛起

 

越來越多的政府、企業等機構開始意識到數據正在成為組織最重要的資產,數據分析能力正在成為組織的核心競爭力。具體有以下三大案例:

 

12012322日,奧巴馬政府宣布投資2億美元拉動大數據相關產業發展,將"大數據戰略"上升為國家意志。奧巴馬政府將數據定義為"未來的新石油",并表示一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分,未來,對數據的占有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產。

 

2、聯合國也在2012年發布了大數據政務白皮書,指出大數據對于聯合國和各國政府來說是一個歷史性的機遇,人們如今可以使用極為豐富的數據資源,來對社會經濟進行前所未有的實時分析,幫助政府更好地響應社會和經濟運行。

 

3、而最為積極的還是眾多的IT企業。麥肯錫在一份名為《大數據,是下一輪創新、競爭和生產力的前沿》的專題研究報告中提出,"對于企業來說,海量數據的運用將成為未來競爭和增長的基礎",該報告在業界引起廣泛反響。

 

IBM則提出,上一個十年,他們拋棄了PC,成功轉向了軟件和服務,而這次將遠離服務與咨詢,更多地專注于因大數據分析軟件而帶來的全新業務增長點。IBM執行總裁羅睿蘭認為,"數據將成為一切行業當中決定勝負的根本因素,最終數據將成為人類至關重要的自然資源。"

 

在國內,百度已經致力于開發自己的大數據處理和存儲系統;騰訊也提出2013年已經到了數據化運營的黃金時期,如何整合這些數據成為未來的關鍵任務。

 

事實上,自2009年以來,有關"大數據" 主題的并購案層出不窮,且并購數量和規模呈逐步上升的態勢。其中,OracleSun、惠普對Autonomy兩大并購案總金額高達176億美元,大數據的產業價值由此可見一斑。

 

折疊編輯本段提供依據

 

大數據是信息通信技術發展積累至今,按照自身技術發展邏輯,從提高生產效率向更高級智能階段的自然生長。無處不在的信息感知和采集終端為我們采集了海量的數據,而以云計算為代表的計算技術的不斷進步,為我們提供了強大的計算能力,這就圍繞個人以及組織的行為構建起了一個與物質世界相平行的數字世界

 

大數據雖然孕育于信息通信技術的日漸普遍和成熟,但它對社會經濟生活產生的影響絕不限于技術層面,更本質上,它是為我們看待世界提供了一種全新的方法,即決策行為將日益基于數據分析做出,而不是像過去更多憑借經驗和直覺做出。

 

事實上,大數據的影響并不僅僅限于信息通信產業,而是正在"吞噬"和重構很多傳統行業,廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中,數據分析的技術與手段更是得到廣泛的應用,傳統企業如沃爾瑪通過數據挖掘重塑并優化供應鏈,新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析,為用戶提供更加專業化和個性化的服務。

 

最讓人吃驚的例子是,社交媒體監測平臺DataSift監測了Facebook(臉譜) IPO當天Twitter上的情感傾向與Facebook股價波動的關聯。在Facebook開盤前Twitter上的情感逐漸轉向負面,25分鐘之后Facebook的股價便開始下跌。而當Twitter上的情感轉向正面時,Facebook股價在8分鐘之后也開始了回彈。最終當股市接近收盤、Twitter上的情感轉向負面時,10分鐘后Facebook的股價又開始下跌。最終的結論是:Twitter上每一次情感傾向的轉向都會影響Facebook股價的波動。

 

這僅僅只是基于社交網絡產生的大數據"預見未來"的眾多案例之一,此外還有谷歌通過網民搜索行為預測流感爆發等例子。不僅在商業方面,大數據在社會建設方面的作為同樣令人驚嘆,智能電網、智慧交通、智慧醫療、智慧環保、智慧城市等的蓬勃興起,都與大數據技術與應用的發展息息相關。

 

"大數據"可能帶來的巨大價值正漸漸被人們認可,它通過技術的創新與發展,以及數據的全面感知、收集、分析、共享,為人們提供了一種全新的看待世界的方法。更多地基于事實與數據做出決策,這樣的思維方式,可以預見,將推動一些習慣于靠"差不多"運行的社會發生巨大變革。

 

折疊編輯本段應對措施

 

一個好的企業應該未雨綢繆,從現在開始就應該著手準備,為企業的后期的數據收集和分析做好準備,企業可以從下面六個方面著手,這樣當面臨鋪天蓋地的大數據的時候,以確保企業能夠快速發展,具體為下面六點。

 

目標

 

幾乎每個組織都可能有源源不斷的數據需要收集,無論是社交網絡還是車間傳感器設備,而且每個組織都有大量的數據需要處理,IT人員需要了解自己企業運營過程中都產生了什么數據,以自己的數據為基準,確定數據的范圍。

 

準則

 

雖然每個企業都會產生大量數據,而且互不相同、多種多樣的,這就需要企業IT人員在現在開始收集確認什么數據是企業業務需要的,找到最能反映企業業務情況的數據。

 

重新評估

 

大數據需要在服務器和存儲設施中進行收集,并且大多數的企業信息管理體系結構將會發生重要大變化,IT經理則需要準備擴大他們的系統,以解決數據的不斷擴大,IT經理要了解公司現有IT設施的情況,以組建處理大數據的設施為導向,避免一些不必要的設備的購買。

 

重視大數據技術

 

大數據是最近幾年才興起的詞語,而并不是所有的IT人員對大數據都非常了解,例如如今的HadoopMapReduceNoSQL等技術都是2013年剛興起的技術,企業IT人員要多關注這方面的技術和工具,以確保將來能夠面對大數據的時候做出正確的決定。

 

培訓企業的員工

 

大多數企業最缺乏的是人才,而當大數據到臨的時候,企業將會缺少這方面的采集收集分析方面的人才,對于一些公司,特別是那種人比較少的公司,工作人員面臨大數據將是一種挑戰,企業要在平時的時候多對員工進行這方面的培訓,以確保在大數據到來時,員工也能適應相關的工作。

 

培養三種能力

 

Teradata大中華區首席執行官辛兒倫對新浪科技表示,隨著大數據時代的到來,企業應該在內部培養三種能力。第一,整合企業數據的能力;第二,探索數據背后價值和制定精確行動綱領的能力;第三,進行精確快速實時行動的能力。

 

做到上面的幾點,當大數據時代來臨的時候,面臨大量數據將不是束手無策,而是成竹在胸,而從數據中得到的好處也將促進企業快速發展。


你覺得這篇文章怎么樣?

0 0
網友評論

管理員

該內容暫無評論

美國網友
友情鏈接: 瑞刷寶 pos機辦理 金大寶 趣付 百度
版權所有:福州云動力傳媒有限公司 技術支持:云動力傳媒[云動力傳媒] 備案號:閩ICP備45467481號 統計代碼放置
友情鏈接:pos機代理 盛pos 暢捷支付 嘉聯支付 開店寶 考拉超收 鼎刷 立刷pos機 立刷 隨行付 拉卡拉收款寶 騰付通
聯系我們 0591-87575726
澳门新永利娱乐