大資料科學家,聽起來好聽,幹的是搬磚的活兒

「大資料」這個流行詞包含了各類豐富的數碼資料，從網路、感應器，到手機、電腦。 用智慧軟體來挖掘這些資料，可以得到許多發現。 它使得各領域的資料導向決策過程成為可能。 這也是資料科學家成為熱門職業的原因。 但你知道資料科學家平時都做些什麼嗎？

整理資料

事實上，資料科學家們百分之五十到八十的時間都在埋頭整理無序的資料，直到它們能被用於挖掘，即所謂的「Data Mining」。 這些精細而繁瑣的工作，完全不像想像中那麼信手拈來。 這是因為我們正身處於大資料的現代蠻荒之中，資料從收集到可用，還需要某種程度的開墾。

Timothy Weaver是德爾蒙食品公司的CIO（資訊主管），他指出了大資料的「資料噪音」（data wrangling）中存在的「冰山效應」（iceberg）。 人們只看到結果，卻沒有看到結果背後的大量勞動。

不過，這也是一個問題與機會共生的問題。 一些創業公司正在嘗試通過開發自動收集、清理和管理資料的軟體，來突破大資料的這種瓶頸。

在未來，會有越來越多的資料來源能夠用於揭示一家公司的運營情況。 比如在食品產業，能夠獲取的資料有產量、產地和運輸、天氣、零售資料和社交網路評論。 我們測量的是這些資料在情感和需求上的變化信號。 結果是，我們能夠比以往更加具象化地看到運營的每一個步驟，能夠開始量身定制生產計畫和存貨。

然而在集合不同類別資料的過程中，也會產生問題。 感應器、檔、網路和傳統資料庫的資料存在不同的格式，必須把它們清理並轉換成統一格式，才能加入演算法。

人類語言

資料格式只是一個問題，另一個挑戰是人類語言的模糊性。 Iodine是一家健康創業公司，它為顧客提供藥品的副作用和交互作用資訊。 但對於相同的副作用，食 品藥品管理局使用的術語往往有細微差別。 「困倦」，「嗜睡」和「瞌睡」同時使用。 人類能夠識別這些同義字，但軟體演算法必須通過程式設計才能獲得這種解讀能力。 這種蛋疼的工作在資料項目目中需要不斷地重複。

資料專家試圖自動化這個過程中的每一步。 「然而操作上，由於資料的複雜性，你得當好長一段時間的資料看門人，才能得到迷人的結果。 」 資料科學家兼Iodine創始人Matt Mohebbi說。

資料軟體能夠做到的不僅僅是節約科學家們的時間，它同時也可能成為大資料計算普及化的功臣。

歷史規律表明，一項新技術產生之初隻被少數精英所掌握。 然而隨著時間推移，技術進步和投資增加，工具越來越強大，相關經濟發展，商業運作開始適應，技術最終融入主流。 在大資料時代，這條定律依然有用。

矽谷資料科學的CTO，John Akred看到了現代資料世界發展與技術發展的相似之處。 他說，「我們見證著革命的起源，它致力於使更大的人群獲得解決資料問題的能力。 」

加州帕羅奧圖市的一家初創企業ClearStory Data致力於開發識別、集合各種資料資源並通過表格和圖表、資料地圖來視覺化結果的軟體。 它的目標就是通過軟體來開發更大的使用者市場。

一個視覺化報告通常包括六到八個數據源。 比如一個提供給零售商的報告，可能包括掃描的銷售點資料、天氣預報、網站流覽量、競爭對手的定價資料、智慧手機軟體訪問量和停車場車流量的視頻監控。 而這些資料如果手動整理，請多少人手也不一定夠。

演算法仍舊沒有替代手工勞動

儘管如此，資料科學家們強調，手工勞動在資料準備中仍是必不可少的。 「開始的時候你為了一個特定目標準備資料，但沒過多久就發現了一些新東西，你的目標也會隨之改變。 」哥倫比亞新聞研究生院的一位資料科學家Cathy O’Neil說。

但毫無疑問的是，在減輕資料統計壓力方面，科學家們需要好好磨一磨他們的刀劍了。 畢竟，工欲善其事，必先利其器嘛。