【中國智能制造網(wǎng) 市場分析】有關(guān)數(shù)據(jù)和數(shù)據(jù)分析的高談闊論比比皆是。不斷有人告誡各大公司要規(guī)劃恰當(dāng)戰(zhàn)略來收集分析大數(shù)據(jù)，并警告不這么做可能帶來的不良后果。像《華爾街日報》近日就提到公司享有客戶數(shù)據(jù)這樣一個大寶藏，卻大到不知道該如何利用。本文將探討其中緣由。有公司嘗試從巨大的數(shù)據(jù)中獲取實際可用的信息，通過與他們合作，我們歸納了管理者在數(shù)據(jù)應(yīng)用上的四個常規(guī)錯誤。　　錯誤一：沒有理解融合的概念
　　
　　阻礙大數(shù)據(jù)發(fā)揮價值的大挑戰(zhàn)就是兼容性和融合性。大數(shù)據(jù)的一個主要特點是其來源多樣。然而，如果數(shù)據(jù)形式不相同，或難以整合，則其來源的多樣性將使公司難以削減開支，也無法為客戶創(chuàng)造價值。例如，在我們和一個合作項目中，該公司擁有豐富的數(shù)據(jù)，記錄客戶的交易量和忠誠度，以及專門的在線瀏覽行為數(shù)據(jù)，但是鮮少交叉檢索這兩類數(shù)據(jù)來判斷某種瀏覽行為即為交易達(dá)成的前兆。面對這種挑戰(zhàn)，公司創(chuàng)建了“數(shù)據(jù)湖”來容納大量非結(jié)構(gòu)性數(shù)據(jù)。但是，這些公司能夠加以利用的數(shù)據(jù)目前都顯得雜亂無章，只不過是一些以文本，也就是說，當(dāng)這些數(shù)據(jù)只是普通的二進(jìn)制數(shù)字時，要將它們井然有序地存儲起來非常困難。要將來源不同的它們整合起來更是難上加難。
　　
　　錯誤二：沒有認(rèn)識到非結(jié)構(gòu)化數(shù)據(jù)的局限性
　　
　　阻礙大數(shù)據(jù)發(fā)揮價值的第二大挑戰(zhàn)是其非結(jié)構(gòu)化的特性。對文本數(shù)據(jù)的挖掘已經(jīng)有了特別的進(jìn)展，其語境和技術(shù)所帶來的認(rèn)識與結(jié)構(gòu)化數(shù)據(jù)類似，只是其它形式的數(shù)據(jù)如視頻仍不易于分析。舉個例子，雖然擁有先進(jìn)的人臉識別軟件，有關(guān)當(dāng)局仍然無法從大量視頻中識別出波士頓馬拉松爆炸案中的兩名嫌疑人，因為該軟件尚在處理從不同角度拍攝的嫌疑人的照片。
　　
　　雖然從非結(jié)構(gòu)性數(shù)據(jù)獲取信息面臨挑戰(zhàn)，但是各公司在利用這些數(shù)據(jù)初步提升分析已有數(shù)據(jù)的速度和度上取得了顯著成績。比如，在石油和天然氣勘探中，人們就用大數(shù)據(jù)來優(yōu)化正在進(jìn)行的操作，以及針對地震鉆井的數(shù)據(jù)分析。盡管他們所使用的數(shù)據(jù)在速度、種類和體積上都有可能增加，終這些數(shù)據(jù)還是用于同一個目的?？傊婚_始就希望通過利用非結(jié)構(gòu)性數(shù)據(jù)形成新的研究假設(shè)是站不住腳的，除非各公司通過“實踐”有了這種專業(yè)能力，能利用非結(jié)構(gòu)性數(shù)據(jù)優(yōu)化某個問題答案。
　　
　　錯誤三：以為關(guān)聯(lián)分析意義重大
　　
　　第三大挑戰(zhàn)——我們認(rèn)為是阻礙大數(shù)據(jù)價值的重要的影響因素——是觀測數(shù)據(jù)的大量重疊使其因果關(guān)系難以明確。大規(guī)模數(shù)據(jù)集往往包含眾多相似或完全一致的信息，直接導(dǎo)致錯誤的關(guān)聯(lián)分析，誤導(dǎo)管理者的決策。近日《經(jīng)濟(jì)學(xué)人》指出“在大數(shù)據(jù)時代，相互關(guān)系往往是自己浮現(xiàn)出來的”，《斯隆管理評論》在博客中強(qiáng)調(diào)雖然很多公司都能接觸到大數(shù)據(jù)，但是這些數(shù)據(jù)并不“客觀”，因為問題在于要從中提煉出值得采取行動的信息。同樣，典型的用于分析數(shù)據(jù)的機(jī)器學(xué)習(xí)算法所進(jìn)行的關(guān)聯(lián)分析并不一定會提供原因分析，因而不會給出可執(zhí)行的管理意見。也就是說，讓大數(shù)據(jù)有利可圖的技巧在于能夠從僅僅觀測到相互關(guān)系轉(zhuǎn)變?yōu)檎_鑒別何種關(guān)聯(lián)為因果形式，可以作為戰(zhàn)略舉措的基礎(chǔ)。要做到這一點就必須超越大數(shù)據(jù)。
　　
　　谷歌趨勢是大數(shù)據(jù)的經(jīng)典范例，它利用谷歌搜索詞條整合記錄。然而，它也說明了僅僅用于關(guān)聯(lián)分析的數(shù)據(jù)是毫無意義的。起初，研究人員稱數(shù)據(jù)可以用于反映流感的傳播。然而后來，研究人員發(fā)現(xiàn)因為數(shù)據(jù)體現(xiàn)的是過去，使用這些數(shù)據(jù)只能在現(xiàn)狀與過去模式相關(guān)的情況下，稍微改善應(yīng)對行為。
　　
　　舉個更具體的例子，假設(shè)一個鞋業(yè)銷售商向曾瀏覽其網(wǎng)站的消費者投放廣告。原始數(shù)據(jù)分析認(rèn)為消費者看到這些廣告會更愿意購買鞋子?？墒?，這些消費者在看到廣告之前就已經(jīng)對該銷售商表現(xiàn)出了興趣，因而比普通人更愿意進(jìn)行交易。這個廣告有效嗎？很難說。實際上，這里的大數(shù)據(jù)并沒有考慮營銷傳播有效性的因果推論。要知道該廣告是否有效，銷售商需要進(jìn)行隨機(jī)檢測或試驗，選取一部分消費者不接觸這個廣告。通過比較看了廣告和沒看廣告的消費者之間的購買率，公司才能確定是否看到廣告能讓消費者更愿意消費。這個案例中，價值主要不是通過數(shù)據(jù)創(chuàng)造的，而是通過設(shè)計、執(zhí)行以及闡釋重要的試驗來創(chuàng)造的。
　　
　　這是個試驗，不是分析觀測到的大數(shù)據(jù)集來幫助公司了解一段聯(lián)系到底是僅僅相關(guān)還是因為反應(yīng)潛在的因果關(guān)系而變得可以賴以作出判斷。雖然對于管理者來說，哪怕僅利用記錄消費者行為一拍字節(jié)的數(shù)據(jù)來提升效益都很困難，但是比較參與了營銷活動的客戶和沒有參與的客戶——根據(jù)試驗結(jié)果——能夠讓營銷人員推論這個活動是否有利可圖。
　　
　　開展實地試驗，得出正確的結(jié)論，采取恰當(dāng)?shù)膽?yīng)對措施，都不是輕而易舉的事。但是成功的公司已經(jīng)有能力來設(shè)計、開展重要的實地試驗，并對其結(jié)果評估，采取針對性措施。正是這種“試驗加學(xué)習(xí)”的環(huán)境，以及對其能否加以推廣的理解和認(rèn)識之上采取行動的能力，才讓大數(shù)據(jù)有價值。
　　
　　只是，由于越來越多的數(shù)據(jù)樣本收益遞減，這樣的試驗并不一定需要大數(shù)據(jù)。比如：谷歌透露說其往往用有效數(shù)據(jù)的0.1%中的隨機(jī)樣本來進(jìn)行數(shù)據(jù)分析。確實，近日刊登的一篇文章顯示大數(shù)據(jù)的大實際上是不利的，因為“數(shù)據(jù)庫越大，就越容易支持你提出的假設(shè)。”換句話說，因為大數(shù)據(jù)提供重疊的信息，公司能從整個數(shù)據(jù)集，也能從其千分之一的數(shù)據(jù)集中獲取同樣的信息。
　　
　　錯誤四：低估了勞動力技術(shù)需求
　　
　　開展試驗不是公司從大數(shù)據(jù)推測有價值信息的途徑。另一個可行的方法是公司可以培養(yǎng)算法技能，來更好的處理數(shù)據(jù)。推薦系統(tǒng)便是此類算法的一個范例。推薦系統(tǒng)通過針對關(guān)聯(lián)數(shù)據(jù)的算法向客戶推薦相關(guān)的產(chǎn)品。只是，它不是依靠背后規(guī)模龐大的數(shù)據(jù)，而是依賴識別關(guān)鍵信息碎片來預(yù)測客戶偏好的能力。的確，往往不是數(shù)據(jù)的規(guī)模，而是計算機(jī)學(xué)習(xí)的算法來確定結(jié)果的質(zhì)量。盡管預(yù)測能力可能增加可用數(shù)據(jù)的規(guī)模，但是在大多數(shù)情況中，預(yù)測的提升說明規(guī)模收益隨著數(shù)據(jù)集增加而遞減不過，要建立好的算法就需要好的數(shù)據(jù)分析師。一些公司以為不同聘請員工來分析數(shù)據(jù)中的因果聯(lián)系就能將大量的數(shù)據(jù)轉(zhuǎn)化為信息，他們可能要失望了。
　　
　　數(shù)據(jù)本身是沒有價值的。只有與管理、構(gòu)建和分析技能結(jié)合來，明確對其進(jìn)行試驗和算法，才能對公司有用。當(dāng)你把價格信息看做是對價格信息處理的技能時就清楚了。很多情況下，相對于數(shù)據(jù)成本，留住數(shù)據(jù)處理人才成本更高。這說明對于一個公司而言，數(shù)據(jù)處理能力比數(shù)據(jù)本身更重要。