巨量資料

本文節選于清華大學出版社推出的《Hadoop權威指南》一書，作者為Tom White，譯者是華東師範大學資料科學與工程學院。 本書從Hadoop的緣起開始，由淺入深，結合理論和實踐，全方位地介紹Hadoop這一高性能處理海量資料集的理想工具。 全書共16章，3個附錄，涉及的主題包括：Haddoop；MapReduce；Hadoop分散式檔案系統；Hadoop的I/O、MapReduce應用程式開...

本文節選于清華大學出版社推出的《Hadoop權威指南》一書，作者為Tom White，譯者是華東師範大學資料科學與工程學院。 本書從Hadoop的緣起開始，由淺入深，結合理論和實踐，全方位地介紹Hadoop這一高性能處理海量資料集的理想工具。 全書共16章，3個附錄，涉及的主題包括：Haddoop；MapReduce；Hadoop分散式檔案系統；Hadoop的I/O、MapReduce應用程式開...

通過大資料技術實現企業運營效率的提升是我們當前的一個重要目標，但這項工作並不是每個企業都那麼容易上手。 在1月21日的「10億說 TalkingData移動互聯網產業指數資料包告發布會」上，多名業內專家及TalkingData高層為我們分享了釋放大資料價值現存的一些坑，以及我們可以怎麼解決。 所謂10億說，是指TalkingData的平臺現在已經覆蓋了10.6億的移動智慧設備，包括iOS、An...

資料採礦的目的，就是從資料中找到更多的優質使用者。 接著上篇繼續探討有指導資料採礦方法模型。 什麼是有指導的資料採礦方法模型，以及資料採礦如何構建模型。 在構建一個有指導的資料採礦模型，首先要理解和定義一些模型試圖估計的目標變數。 一個典型的案例，二元回應模型，如為直接郵寄和電子郵件行銷活動選擇客戶的模型。 模型的構建選擇歷史客戶資料，這些客戶回應了以前類似的活動。 有指導資料採礦的目的就是找到更多類似的...

GraphLab提供了一個完整的平臺，讓機構可以使用可擴展的機器學習系統建立大資料以分析產品，該公司客戶包括Zillow、Adobe、Zynga、Pandora、Bosch、ExxonMobil等， 它們從別的應用程式或者服務中抓取資料，通過推薦系統、欺詐監測系統、情感及社交網路分析系統等系統模式將大資料理念轉換為生產環境下可以使用的預測應用程式。 Carlos Guestrin是GraphL...

科學家現在已經可以檢測和記錄大腦中數百個神經元的活性，並不斷進行技術開發承諾成倍增加這個數目。 然而，簡單地記錄神經元活動並不能讓科學家自動理解大腦是如何工作的。 在一篇發表于《自然·神經科學》雜誌上的評論文章中，卡內基梅隆大學的Byron M. Yu 和哥倫比亞大學的John P. Cunningham 描述了很多研究大量神經元共同活動的科學動機，是為了解釋神經元的活動，並提...

隨著中國成為「車輪上的國度」，擁堵、違章、事故、停車難等交通問題既是眾多「有車一族」的心頭之痛，也成為各城市管理者迫切需要解決的一項重大民生問題。 實際上，交通問題的背後是海量資料的科學處理問題，「智慧交通」的實現或許才是真正的「治本」之策。 隨著雲計算大資料技術的發展，城市交通的種種難題迎來瞭解決的契機。 作為中國領先的大資料廠商，浪潮已經開發出「智慧交通」的大資料解決方案，極大的推進了「智慧交...

近年來，很少有IT市場區隔可以像大資料超市一樣吸引企業家的關注。 如今，商業和消費者正在產生TB乃至PB級資料，大量公司也加大了研發，致力於收集、存儲、管理、分析資料。 以下是2014年大資料領域格外矚目的十家新興大資料創業公司 1. Aerospike 創始人和CTO：Brian Bulkowski 包括MongoDB、CouchBD和Redis等公司都在爭奪下一代數...

1月，中國大陸境內所有通用頂層網域（.com/.net/.org等）解析出現問題，所有相關功能變數名稱均被指向一個位於美國的IP位址（65.49.2.178），導致數千萬線民在數小時內無法訪問網站。 4月，OpenSSL「心臟出血（Heartbleed）」重大安全性漏洞被曝光，這一漏洞讓駭客能夠讀取伺服器系統的運行記憶體。 有業內人士利用該漏洞在某知名電商網站上測試時，成功獲得多位使用者的帳號及密碼，並成功登...

繼Revelytix、Hadapt、Think Big Analytics之後，Teradata于12月23日宣佈收購RainStor公司，同年四筆大資料相關業務收購直指Teradata逐鹿大資料領域的決心。 RainStor RainStor是一家專門從事線上大資料歸檔服務的私營公司，也是家知名的NewSQL公司。 RainStor的前身是一家英國公司Clearpace，當時（2008年）該公...

【編者按】Linkedin週二宣佈開源其大資料計算引擎Cubert，其名字來源於魯比克方塊（Rubik’s Cube），為了讓開發人員更容易使用Cubert，而無需做任何形式的自訂編碼， Linkedin為此開發了新的程式設計語言Cubert Script。 以下為譯文： Linkedin週二宣佈開源其大資料計算引擎Cubert，這個框架可以使用一種專門的演算法來組織資料，讓其在沒有超系統負荷和浪...

2014年12月12-14日，由中國電腦學會（CCF）主辦，CCF大資料專家委員會承辦，中科院計算所與CSDN共同協辦的  2014中國大資料技術大會(Big Data Technology Conference 2014，BDTC 2014) 將在北京新雲南皇冠假日酒店拉開帷幕。 大會為期三天，以推進行業應用中的大資料技術發展為主旨，擬設立「大資料基礎設施」、「大資料生...

2014年12月12-14日，由中國電腦學會（CCF）主辦，CCF大資料專家委員會承辦，中科院計算所與CSDN共同協辦的  2014中國大資料技術大會(Big Data Technology Conference 2014，BDTC 2014) 將在北京新雲南皇冠假日酒店拉開帷幕。 大會為期三天，以推進行業應用中的大資料技術發展為主旨，擬設立「大資料基礎設施」、「大資料生...

從2008年60人規模的「Hadoop in China」技術沙龍，到當下數千人規模的行業技術盛宴，七屆BDTC（大資料技術大會）完整地見證了中國大資料技術與應用的變革，忠實地描繪了大資料領域內的技術熱點， 沉澱了無數極具價值的行業實戰經驗。 同時，2014年12月12至14日，第八屆中國大資料技術盛會將一如既往的引領當前領域內的技術熱點，分享行業實戰經驗。 為了更好地洞悉行業發展趨勢，瞭解企業...

從2008年60人規模的「Hadoop in China」技術沙龍，到當下數千人規模的行業技術盛宴，七屆BDTC（大資料技術大會）完整地見證了中國大資料技術與應用的變革，忠實地描繪了大資料領域內的技術熱點， 沉澱了無數極具價值的行業實戰經驗。 同時，2014年12月12至14日，第八屆中國大資料技術盛會將一如既往的引領當前領域內的技術熱點，分享行業實戰經驗。 為了更好地洞悉行業發展趨勢，瞭解企業...

從2008年60人規模的「Hadoop in China」技術沙龍，到當下數千人規模的行業技術盛宴，七屆BDTC（大資料技術大會）完整地見證了中國大資料技術與應用的變革，忠實地描繪了大資料領域內的技術熱點， 沉澱了無數極具價值的行業實戰經驗。 同時，2014年12月12至14日，第八屆中國大資料技術盛會將一如既往的引領當前領域內的技術熱點，分享行業實戰經驗。 為了更好地洞悉行業發展趨勢，瞭解企業...

2014年12月12-14日，由中國電腦學會（CCF）主辦，CCF大資料專家委員會承辦，中科院計算所與CSDN共同協辦，以推進大資料科研、應用與產業發展為主旨的2014中國大資料技術大會（Big Data Technology Conference 2014，BDTC 2014）暨第二屆CCF大資料學術會議在北京新雲南皇冠假日酒店盛大開幕。 本次大會歷時三天，以更加國際化的視野，説明出席者...

對Linkedin商業資料分析部門而言，大資料分析不是什麼高高在上、複雜枯燥的工作，而是一門化繁為簡、高效實用的藝術。 在大資料時代，商業資料分析部門對一個公司的重要意義不言而喻。 目前，很多公司的資料分析部門採用的都是「分析放在報表之上」的分析方法，即每天產出非常繁瑣、複雜、海量、事無巨細的分析報告，但這些分析報告的可理解性和可執行性並不強。 而Linkedin作為一個典型的資料驅動的公司，在...

人工智慧技術在大資料領域發揮的作用日益重要，IT技術人員對IBM Watson的興趣也與日俱增。 近日，IBM科技部的傑出工程師李永輝參加了 2014年中國大資料技術大會，並接受了CSDN雲計算的專訪，以Watson為例分析了人工智慧技術的行業應用實踐和前景。 李永輝認為，通過結構化資料和非結構化資料的結合產生智慧是大資料未來的方向，以Watson為代表的認知計算技術正是要實現這一目標，其能力將...

2014年12月12-14日，由中國電腦學會（CCF）主辦，CCF大資料專家委員會承辦，中科院計算所與CSDN共同協辦的  2014中國大資料技術大會(Big Data Technology Conference 2014，BDTC 2014) 將在北京新雲南皇冠假日酒店拉開帷幕。 大會為期三天，以推進行業應用中的大資料技術發展為主旨，擬設立「大資料基礎設施」、「大資料生...