巨量資料

本文接著繼續對全體資料進行更多的分析。 更多關於全體資料的取樣 就上篇文章中邁爾大叔所舉的那個全體資料的例子來說，分析人員只取了資料庫中四個月的資料進行分析。 為什麼？ 因為分析的任務不是要得到資料庫中每個顧客長期的人脈關係，而是通過一定時期內HTTP://www.aliyun.com/zixun/aggregation/7185.html">人際關係的分析，瞭解擁有不同人際...

半年前開始討論大資料時代的到來時，大資料還只是個專業小圈子裡探討的話題。 到今天寫到系列文章的最後一篇時，大資料這個概念已經在業界內外和大眾媒體上沸沸揚揚地廣為傳播，並不斷湧現出這個方向上的努力與創新了。 正所謂「歷史潮流，浩浩蕩蕩，順之者昌，逆之者亡」，這個過去只用在政治話題上的說法借過來描述大資料時代的到來與迅猛發展的形勢真是再恰當不過。 　　站在不同角度看大資料，它既可能是大機會，大發...

HTTP://www.aliyun.com/zixun/aggregation/14417.html">Apache軟體基金會近日宣佈推出HBase 0.96版本。 據開發團隊稱，該版本修復了超過2000個問題，並包含了大量的功能改進。 　　HBase（Hadoop Database）是一個分散式的、面向列的開源資料庫，是Google Bigtable的開源實現，是Apac...

大資料最大的魅力在於通過技術分析和挖掘帶來新的商業價值。 SQL on Hadoop是非常關鍵的一個方向。 CSDN雲計算特別邀請梁堰波撰寫這篇文章，對7種最新技術做深度闡述。 文章較長，但相信一定有收穫。 2013年12月5日-6日，以「應用驅動的架構與技術」為主題的第七屆中國大資料技術大會(Big Data Technology Conference 2013，BDTC 2013)召開之前，...

Linux命令列吸引了大多數Linux愛好者。 一個正常的Linux使用者一般掌握大約50-60個命令來處理每日的任務。 Linux命令和它們的轉換對於Linux使用者、Shell腳本程式師和管理員來說是最有價值的寶藏。 有些Linux命令很少人知道，但不管你是新手還是高級使用者，它們都非常方便有用。　　少有人知道的Linux命令　　這篇文章的目的是介紹一些少有人知的Linux命令，它們一定會高效地...

Cloudera將Hadoop作為企業資料樞紐的想法非常大膽，但是現實卻大相徑庭。 Hadoop距離讓其他大資料解決方案黯然失色還有很長的一段路要走。 　　當你有了一把足夠大的錘子時，所有的東西看起來都是釘子。 這是Hadoop 2.0所面臨的眾多潛在問題之一。 目前，讓開發者和終端使用者最關注的是Hadoop 2.0大規模地修改了大資料處理的框架。 Cloudera計畫將Hadoop 2.0打造...

這個是在自己筆記本上的實驗版本，在不熟悉的情況還是先考慮在自己的電腦上安裝一個試驗版本，然後再考慮安裝部署生產環境中的機器。 首先自己的電腦上需要安裝一個虛擬機器VMWare WorkStation, 安裝好了之後，再在此虛擬機器上安裝Ubutun作業系統,我這裡裝的是Ubutun 11.10, 可以通過lsb_release -a 命令查看， 如果沒有這個命令的話可以用下面的命令安裝一下sud...

在軟體工程學裡，重構代碼一詞通常是指在不改變代碼的外部行為情況下而修改原始程式碼。 軟體重構需要借助工具完成，而重構工具能夠修改代碼同時修改所有引用該代碼的地方。 本文收集了五款出色的PHP代碼重構工具，以説明你完善更加優秀的專案。 　　1. Rephactor 　　Rephactor是一款命令列重構工具，這是一款自動化工具，允許開發者以一種簡潔的方式在不同的代碼庫中修改源碼。 　　主要功能： ...

本文作者Marc Fasel是一名高級顧問、架構師、HTTP://www.aliyun.com/zixun/aggregation/6434.html">軟體發展者。 他有著18年的構建大規模、高性能企業App的經驗。 在這篇文章裡，他通過做測試的方式（在Node.js App上和JAVA伺服器App上分別進行效能測試），一步步將測試過程、結果、結論寫出來，分析兩者的性能區別...

Cloudera將Hadoop作為企業資料樞紐的想法非常大膽，但是現實卻大相徑庭。 Hadoop距離讓其他大資料解決方案黯然失色還有很長的一段路要走。 　　當你有了一把足夠大的錘子時，所有的東西看起來都是釘子。 這是Hadoop 2.0所面臨的眾多潛在問題之一。 目前，讓開發者和終端使用者最關注的是Hadoop 2.0大規模地修改了大資料處理的框架。 Cloudera計畫將Hadoop 2.0打造...

2013年11月22-23日，作為國內唯一專注于Hadoop技術與應用分享的大規模行業盛會，2013 Hadoop中國技術峰會(China Hadoop Summit 2013)于北京福朋喜來登集團酒店隆重舉行。 來自國內外各HTTP://www.aliyun.com/zixun/aggregation/17611.html">行業領域的近千名CIO、CTO、架構師、IT經...

接下來，中國科學院資訊工程研究所副研究員王樹鵬為我們分享了「新型NoSQL大資料管理系統（BDMS）開發和使用交流」。 王樹鵬介紹說他接觸的專案多數是非互聯網的應用，比如安全、交通行業。 這些行業目前也面臨著大資料的考驗，但是當前很多流行的NoSQL資料庫對於他們來說並不適用，所以他們自主研發了一個NoSQL資料庫管理系統。 　　設計目標 　　系統具有高可擴充性：可通過增加節點線性 　　支...

中國最具影響、規模最大的大資料領域盛會—— 2013中國大資料技術大會(Big Data Technology Conference，BDTC)于2013年12月5-6日在北京舉行。 數十家領軍企業，近七十場主題演講，不僅覆蓋Hadoop生態系統與流式計算，即時計算與NoSQL、NewSQL等技術方向，還對互聯網、金融、電信、交通、醫療等創新案例，大資料資源的法律法規、大資料商業利用的政策...

隨著Facebook開源了最近發佈的Presto，已經非常擁擠的SQL in Hadoop市場變得更加錯綜複雜。 一些開源工具正在努力獲得開發者的注意：Hortonworks 圍繞著Hive創建的Stinger、Apache Drill、Apache Tajo、Cloudera的Impala、 Salesforce的Phoenix（用於HBase）以及現在的Facebook Presto。 ...

這幾年來， NoSQL資料庫憑藉其易擴展、高性能、高可用、資料模型靈活等特色吸引到了大量新興互聯網公司的青睞，包括國內的淘寶、新浪、京東商城、360、搜狗等都已經在局部嘗試NoSQL解決方案。 廣州巨杉資料庫是一家專注于新型NoSQL分散式資料庫研發的創業公司，目前已經獲得首輪天使投資，核心產品是SequoiaDB。 巨杉資料庫的創始團隊成員多來自于IBM北美實驗室，長期從事關聯式資料庫D...

下面先摘錄一點背景介紹，然後是我在 CentOS 6.4 上從 MySQL 5.5.31 遷移至 MariaDB 5.5.31 的操作記錄。 最後是我後來發現一個較好的遷移方法。 　　1. 背景介紹 　　MySQL是世界上最流行的開源關係資料庫。 2008 年，Sun 收購 MySQL。 然後 2010 年，甲骨文又收購了 Sun，於是 MySQL 落入了甲骨文（Oracle）手中。 Oracl...

一款全新的Hadoop SQL資料庫查詢引擎HTTP://www.aliyun.com/zixun/aggregation/14417.html">Apache Tajo近日贏得了韓國電信運營商SK電信的青睞。 　　SK電信資料科技實驗室的高級經理Geun-tae Park表示： 　　在廣泛調研當前可用的資料分析技術後，我們發現Apache孵化專案Tajo能夠實現在Had...

在幾年內，NoSQL資料庫一直以性能、可擴充性、靈活的模式和分析能力聚焦著人們的注意力。 儘管關聯式資料庫對於某些用例來說仍是一個不錯的選擇，就像結構資料和要求ACID事務的應用，但是NoSQL在以下用例中將更具優勢： 　　存儲的資料實質上是半結構化或者鬆散的。 　　要求一定的等級的性能和擴充性。 　　存取該資料的應用與最終的一致性相吻合。 　　非關聯式資料庫典型支援以下功能： 　　靈活的...

HTTP://www.aliyun.com/zixun/aggregation/14223.html">應用系統中，日誌是不可缺少的重要組成部分，所有的應用的出錯資訊等都應該能在日誌檔中查找到， 有的應用系統日誌可能數量很小，有的龐大的應用系統的日誌是相當龐大，同時日誌檔必須是方便使用者定制和查找的，要具備很高的性能，否則會影回應用系統的性能。 　　由 于日誌通常涉及到I...

Naresh Kumar是一位軟體工程師與熱情的博主，對程式設計與新事物充滿了激情和興趣。 近日，Naresh撰寫了一篇博文，對開源世界最常見的兩種資料庫MySQL與PostgreSQL的特點進行了詳盡的分析和比對。 　　如果打算為專案選擇一款免費、開源的資料庫，那麼你可能會在MySQL與PostgreSQL之間猶豫不定。 MySQL與PostgreSQL都是免費、開源、強大、且功能豐富的資料庫...