巨量資料

大資料已經不是什麼新話題了，在實際的開發和架構過程中，如何為大資料處理做優化和調整，是一個重要的話題，最近，諮詢師Fabiane Nardon和Fernando Babadopulos在「JAVA Magzine」 電子期刊中發文分享了自己的經驗。 　　作者在文中首先強調了大資料革命的重要性： 　　大資料革命正在進行，是時候去參與其中了。 企業每天產生的資料量不斷增加，可以被重新利用來發現新...

眾多基於Bigtable技術的開源專案正在通過不同的方式實現高擴充性、高靈活性、分散式及寬列資料存儲等功能，Cassandra和HBase就是其中的代表。 　　在大資料[注]這一全新的領域裡，Bigtable資料庫技術非常值得我們關注，因為這一技術是由谷歌的工程發明的，而谷歌是一家公認的非常擅長管理海量資料的公司。 如果你對此非常瞭解，那麼你一家知道也熟悉Cassandra和HBase這兩...

Joe HTTP://www.aliyun.com/zixun/aggregation/33805.html">Brightly身為Hadoop的超級粉絲， 自己曾經在無數個場合承認自己熱愛Hadoop來進行資料處理的理由，比如「可以處理PB級別的資料;可以擴展到數千個處理大量計算工作的節點;可以用非常靈活的方式存儲和載入資料......」但當他部署Hadoop用於大資料處理分析的 ...

在Hadoop發展的8年時間裡，我們看到一種「使用浪潮」——一代又一代使用者在相同的時間和類似的環境下使用Hadoop。 每一個在資料處理時使用了Hadoop的使用者，都面臨著類似的挑戰，為了讓一切正常運轉，要麼被迫協同工作，要麼乾脆隔離。 接下來我們就討論這些客戶，看他們彼此之間有何不同。 　　第0代——火種 　　這是開頭：在谷歌2000年中的研究論文的基礎上，一些信徒奠定了廉價存儲和計算能力...

如今Apache Hadoop已成為大資料行業發展背後的驅動力。 Hive和Pig等技術也經常被提到，但是他們都有什麼功能，為什麼會需要奇怪的名字(如Oozie，ZooKeeper、Flume)。 　　Hadoop帶來了廉價的處理大資料(大資料的資料容量通常是10-100GB或更多，同時資料種類多種多樣，包括結構化、非結構化等)的能力。 但這與之前有什麼不同? 　　現今企業資料倉儲和關聯式數...

簡介 　　當今世界是一個大資料時代的資訊化世界，我們的生活中無論是生活、工作、學習都離不開資訊系統的支撐。 而資訊系統的背後用於保存和處理最終結果的地方就是資料庫。 因此資料庫系統就變得尤為重要，這意味著如果資料庫如果面臨問題，則意味著整個應用系統也會面臨挑戰，從而帶來嚴重的損失和後果。 　　如今「大資料時代」這個詞已經變得非常流行，雖然這個概念如何落地不得而知。 但可以確定的是，隨著物聯網、...

作者觀察到HTTP://www.aliyun.com/zixun/aggregation/14417.html">Apache Spark 最近發出一些不同尋常的事件，Databricks將提供$ 14M美金支援Spark，Cloudera決定支援Spark，Spark被認為是大資料領域的大事情。 　　美好的第一印象 　　作者認為自己已經與Scala的API(Spark使用...

現在，如果你沒有聽說過Hadoop，那麼你一定落伍了。 作為一個全新的開源專案，Hadoop提供了一中新的方式用來存儲和處理器資料。 大型的HTTP://www.aliyun.com/zixun/aggregation/3518.html">互聯網公司，如谷歌、Facebook都使用Hadoop來存儲和管理它們龐大的資料集。 Hadoop也通過在這些領域的應用證明了其五大優勢：...

在大資料時代，傳統的資料處理方法還適用嗎? 　　大資料環境下的資料處理需求 　　大資料環境下資料來源非常豐富且資料類型多樣，存儲和分析挖掘的資料量龐大，對資料展現的要求較高，並且很看重資料處理的高效性和可用性。 　　傳統資料處理方法的不足 　　傳統的資料獲取來源單一，且存儲、管理和分析資料量也相對較小，大多採用關聯式資料庫和並行資料倉儲即可處理。 對依靠平行計算提升資料處理速度方面而言，傳...

執行大資料[注]專案的企業面對的關鍵決策之一是使用哪個資料庫，SQL還是NoSQL? SQL有著驕人的業績，龐大的安裝基礎;而NoSQL正在獲得可觀的收益，且有很多支援者。 我們來看看兩位專家對這個問題的看法。 　　專家 　　· VoltDB公司首席技術官Ryan Betts表示，SQL已經贏得了大型企業的廣泛部署，大資料是它可以支援的另一個領域。 　　· Couch...

Hadoop得以在大資料處理應用中廣泛應用得益于其自身在資料提取、變形和載入(ETL)方面上的天然優勢。 Hadoop的分散式架構，將大資料處理引擎盡可能的靠近存儲，對例如像ETL這樣的批次處理操作相對合適，因為類似這樣操作的批次處理結果可以直接走向存儲。 Hadoop的MapReduce功能實現了將單個任務打碎，並將碎片任務發送(Map)到多個節點上，之後再以單個資料集的形式載入...

3月14日,IDC宣佈近期發佈《中國Hadoop MapReduce生態系統分析》報告，報告指出，在中國，Hadoop 應用正在從互聯網企業，逐漸拓展到電信，金融，政府，醫療這些傳統行業。 雖然目前Hadoop應用場景還是以日誌存儲、查詢和非結構化資料處理為主，但是Hadoop技術的不斷成熟以及生態系統相關產品的完善，包括Hadoop對SQL不斷加強的支援，以及主流商務軟體廠商對Hadoo...

03月17日 北京消息：IDC近期發佈的《中國Hadoop MapReduce生態系統分析》報告指出，在中國，Hadoop 應用正在從互聯網企業，逐漸拓展到電信，金融，政府，醫療這些傳統行業。 雖然目前Hadoop應用場景還是以日誌存儲、查詢和非結構化資料處理為主，但是Hadoop技術的不斷成熟以及生態系統相關產品的完善，包括Hadoop對SQL不斷加強的支援，以及主流商務軟體廠商對Had...

執行大資料項目目的企業面對的關鍵決策之一是使用哪個資料庫，SQL還是NoSQL? SQL有著驕人的業績，龐大的安裝基礎;而NoSQL正在獲得可觀的收益，且有很多支援者。 我們來看看兩位專家對這個問題的看法。 　　專家 　　· VoltDB公司首席技術官Ryan Betts表示，SQL已經贏得了大型企業的廣泛部署，大資料是它可以支援的另一個領域。 　　· Couchba...

根據最新的Forrest報告，有很多公司都在努力挖掘他們擁有的大量資料，包括結構化、非結構化、半結構化以及二進位資料等，探索對大資料的深入利用。 下面是報告結論的其中一點： 　　大多數公司估計他們只分析了已有資料的12%，剩餘88%還沒有被充分利用。 大量的資料孤島和分析能力的缺乏是造成這種局面的主要原因。 另外一個難題是如何判斷資料是否有價值。 尤其是在大資料時代，你必須採集並存儲這些資料。 一...

IDC近期發佈的《中國Hadoop MapReduce生態系統分析》報告指出，在中國，Hadoop 應用正在從互聯網企業，逐漸拓展到電信，金融，政府，醫療這些傳統行業。 雖然目前Hadoop應用場景還是以日誌存儲、查詢和非結構化資料處理為主，但是Hadoop技術的不斷成熟以及生態系統相關產品的完善，包括Hadoop對SQL不斷加強的支援，以及主流商務軟體廠商對Hadoop支援的不斷增強， 會...

大資料分析的消費者有大資料分析專家，同時還有普通使用者，但是資料分析師培訓二者對於大資料分析最基本的要求就是視覺化分析，因為視覺化分析能夠直觀的呈現大資料特點，同時能夠非常容易被讀者所接受，就如同HTTP:// www.aliyun.com/zixun/aggregation/12897.html">看圖說話一樣簡單明瞭。 　　大資料分析的理論核心就是資料採礦演算法，各種資料挖...

大資料裡蘊藏的價值，一直是從事Hadoop和相關工具開發人員遇到困難時，激勵自己的一個動力。 一家大資料及服務供應商Wikibon做過一項調查，指出，很多公司的技術人員往往缺乏培訓來有效的使用複雜的Hadoop。 　　來自Continnuity公司的創始人兼CEO Jonathan Gray對此表示，培訓的目的不是要培養出許多的Hadoop專家，企業應該專注于開發更好的工具，來説明開發人員...

為什麼要讓Hadoop結合R語言？ 　　R語言和Hadoop讓我們體會到了，兩種技術在各自領域的強大。 很多HTTP://www.aliyun.com/zixun/aggregation/7155.html">開發人員在電腦的角度，都會提出下面2個問題。 問題1: Hadoop的家族如此之強大，為什麼還要結合R語言？ 　　問題2: Mahout同樣可以做資料採礦和機器學習，...

作為大資料技術的典範，Hadoop一直為採用大資料的企業祝福並詛咒著。 Hadoop功能強大，卻非常複雜，這使得很多企業都寧願等待更容易的東西問世，再推出大資料項目目。 等待已經結束。 Hadoop在穩步前進，來自諸如Hortonworks和Cloudera等廠商顯著的易用性增強，使得Hadoop的學習曲線已經減少了一半。 企業正越來越多擁抱大資料和Hadoop，目的是從基本的ETL工作負載遷移...