巨量資料

第1頁：對於大資料的渴望 　　hadoop通常被認定是能夠説明你解決所有問題的唯一方案。 當人們提到「大資料」或是「資料分析」等相關問題的時候，會聽到脫口而出的回答：hadoop！ 實際上hadoop被設計和建造出來，是用來解決一系列特 定問題的。 對某些問題來說，hadoop至多算是一個不好的選擇。 對另一些問題來說，選擇hadoop甚至會是一個錯誤。 對於資料轉換的操作，或者更廣泛 意義上的...

2008年，HTTP://www.aliyun.com/zixun/aggregation/1560.html">Facebook送給大資料使用者一個禮物。 社交巨頭開源了Cassandra——NoSQL大資料分散式資料庫。 今天，隨著Cassandra 2.0的問世，這個禮物也顯得愈加珍貴。 　　自從2008年以來，在Apache軟體基金會（ASF）的指導下，Cassandr...

大資料時代正逐步到來，遺憾的是很多企業還沒做好準備，很多領域還亟待覺醒。 「資料海量、資訊缺乏」是相當多企業在資料大集中之後面臨的尷尬問題。 　　在電力行業，隨著智慧電網建設的不斷深入和推進，電網運行產生的海量資訊呈指數級增長。 採集點越來越多，常規的調度自動化系統數十萬點，而配用電、資料中心將達到百萬甚至千萬級。 　　電力大資料分析迫在眉睫 　　當前，電網業務資料大致分為三類：一是電力企業...

今年，大資料在很多公司都成為相關話題。 雖然沒有一個標準的定義來解釋何為 「大資料」，但在處理大資料上，Hadoop已經成為事實上的標準。 IBM、Oracle、SAP、甚至Microsoft等幾乎所有的大型軟體供應商都採用了Hadoop。 然而，當你已經決定要使用Hadoop來處理大資料時，首先碰到的問題就是如何開始以及選擇哪一種產品。 你有多種選擇來安裝Hadoop的一個版本並實現大資料處理...

對於大資料，循序的處理方式難以滿足人們的要求，現在主要採用平行計算方式。 現有的平行計算可以分為兩種： 　　·細細微性的平行計算。 這裡細細微性主要是指指令或進程級別，由於GPU比CPU擁有更強的並行處理能力，人們將一些任務交給GPU並行處理，一些GPU製造商也推出了方便程式師使用的程式設計模型，如NVIDIA推出的CUDA等。 　　·粗細微性的平行計算。 這裡粗細微性指的是任...

Hadoop起源于2002年的Apache Nutch專案，是Apache Lucene的子專案之一。 2004年，Google在OSDI上公開發表了題為《MapReduce: Simplified Data Processing on Large Clusters》的論文，受到啟發的Doug Cutting等人開始實現MapReduce計算框架並與NDFS（Nutch Distribut...

MapReduce的出現是為了突破資料庫的局限。 Giraph、Hama以及Impala等工具的出現則是為了突破MapReduce的局限。 雖然上述方案的運行都需要以Hadoop為基礎，但圖形、文檔、列式以及其它NoSQL資料庫也是大資料當中不可或缺的組成部分。 　　哪款大資料工具能夠滿足您的需求?這個問題在如今解決方案數量迅速增長的背景之下，確實不容易回答。 　　Apache Hado...

說到大資料，不得不提的就是阿裡巴巴。 這家全球領先的電子商務企業，每天處理的資料量是其他任何公司都無法比擬的，它也正在轉型成為一家真正意義上的資料公司——MySQL就是阿裡巴巴轉型的重要武器。 曾經採訪過阿裡的一位資料庫架構師，他認為阿裡將開源MySQL的性能達到最佳狀態，超越任何關聯式資料庫和NoSQL。 　　2009年，甲骨文通過收購Sun獲得了MySQL的版權，業界就開始質疑甲骨文的用...

為Hadoop製作管理和安全軟體的企業級資料分析公司HTTP://www.aliyun.com/zixun/aggregation/14111.html">Zettaset，稱其計畫于2013年年底增加加密功能 　　在Zettaset工作的安全架構師埃裡克?默里表示，公司管理Hadoop集群的Orchestrator套件正在增強，包括建立基於Hadoop資料分區加密的對稱...

2013年11月22-23日，作為國內唯一專注于Hadoop技術與應用分享的大規模行業盛會，2013 Hadoop中國技術峰會(China Hadoop Summit 2013)將于北京福朋喜來登集團酒店隆重舉行。 屆時，來自國內外各行業領域的近千名CIO、CTO、架構師、IT經理、諮詢顧問、工程師、Hadoop技術愛好者，以及從事Hadoop研究與推廣的IT廠商和技術專家將共襄盛舉。 　...

TC Disrupt年度展覽一直以來都是消費級新創公司的秀場，但是在今年的TC Disrupt上，卻出現了很多HTTP://www.aliyun.com/zixun/aggregation/15530.html"> 大型企業。 SAP推出了很多更新來支援該軟體巨頭的大資料戰略，同時還有助於它在2013年TechCrunch Disrupt上的亮相。 　　Hadoop毫無爭議成...

微軟開發出一套名為REEF（即可保留評估執行框架的簡稱）HTTP://www.aliyun.com/zixun/aggregation/14294.html">的大資料框架，並有意在一個月之內將其推向開源。 REEF在設計上以下一代Hadoop資源管理器YARN為運行基礎，尤其適合完成機器學習類任務。　　微軟公司技術研究員兼資訊服務部門CTO Raghu Ramakrish...

HBase既提供了可伸縮性，又提供了共用與Hadoop相同的基礎設施的經濟性,但它的缺陷是否把後腿扯下來了呢? NoSQL專家擺好了辯論架式。 　　HBase是仿照谷歌BigTable的，是世界上最受歡迎的大資料處理平臺Apache Hadoop的一部分。 但這一血統能否擔保HBase在充滿競爭和快速發展的NoSQL資料庫市場中定會擔當一個主導的角色呢? 　　MapR公司的Michael ...

在實習工作中，要處理一張存有204萬記錄的表，由於記錄是從互聯網上取到的，所以裡面有一些不太理想的詞，比如一些詞裡混有特殊字元，標點符號，或者有些詞根本就是標點符號等等。 我寫這個程式的目的就是把這些不理想的詞找出來，能修改的就修改，沒有必要修改的就直接刪除。 [java]&HTTP://www.aliyun.com/zixun/aggregation/37954.html"&...

&HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 據統計，未來幾年，智慧城市、智慧交通、智慧醫療 以及物聯網所產生的資料也會鋪天蓋地而來。 這麼多的資料中蘊含著非常多的有價值資訊，但是我們如何將這些資訊提取出來呢?現在通常的方法是利用Hadoop來做，但是，Hadoop其實也不是那麼安全。 在昨天趨勢科...

Spark是發源于美國加州大學伯克利分校AMPLab的集群計算平臺。 它立足于記憶體計算，從多反覆運算批量處理出發，兼收並蓄資料倉儲、流處理和圖計算等多種計算范式，是罕見的全能選手。 Spark已正式申請加入Apache孵化器，從靈機一閃的實驗室「電火花」成長為大資料技術平臺中異軍突起的新銳。 本文主要講述Spark的設計思想。 Spark如其名，展現了大資料不常見的「電光石火」。 具體特點概括為「輕、快...

SQL Server引入HTTP://www.aliyun.com/zixun/aggregation/14255.html">Hadoop大資料處理能力 發佈時間：2012.05.11 14:48      來源：機房360     作 者：機房360 微軟已經發佈了早期代碼，讓客戶可以將這個Ja...

面對大資料OLAP分析的一些問題 發佈時間：2012.05.16 09:25 &HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp;    來源：賽迪網     作者： OLAP分析需要進行大量的資料分組和表間關聯，而這些顯然不是NoSQ...

SAP設立大資料理事會 拓展合作夥伴生態系統 發佈時間：2012.05.18 15:35 &HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp;    來源：賽迪網     作者：賽迪網 SAP特別設立了一個「大資料」合作夥伴理事會。 該理...

Amr Awadallah：通過來自HTTP://www.aliyun.com/zixun/aggregation/13456.html">Cloudera的Hadoop來壓縮大資料 發佈時間：2012.05.25 10:31      來源：賽迪網     作者：賽迪網 【賽迪網訊】Cloude...