其他

package com.hadoop.sample; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable;

package com.hadoop.sample; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable;

package com.hadoop.sample; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable;

隨著MapReduce的流行，其開源實現Hadoop也變得越來越受推崇。在Hadoop系統中，有一個組件非常重要，那就是調度器，它的作用是將系統中閒置資源按一定策略分配給作業。在Hadoop中，調度器是一個可插拔的模組，使用者可以根據自己的實際應用要求設計調度器。Hadoop中常見的調度器有三種，分別為：

1 簡單介紹下----->記憶體回收概念 GC中的垃圾，指的是存在於記憶體中的、不會再被使用的對象。而記憶體回收就是把那些不再被使用的對象進行清除，收回佔用的記憶體空間。如果不及時對記憶體中的垃圾進行清理，那麼這些垃圾對象所佔的記憶體空間會一直保留到應用程式結束，被保留的空間無法被其他對象使用。如果大量不會被使用的對象一致佔著空間不放，如果應用程式需要記憶體空間，沒有多餘的記憶體空間供其使用的話，就會導致記憶體溢出。因此，對記憶體空間的管理來說，識別和清理垃圾對象是至關重要的。

傳統的MapReduce架構是google於2004年在論文：“MapReduce: Simplified Data Processing on Large

Spark核心是由Scala語言開發的，因此使用Scala語言開發Spark應用程式是自然而然的事情。如果你對Scala語言還不太熟悉，可以閱讀網路教程 A Scala Tutorial for Java Programmers 或者相關 Scala書籍 進行學習。 本文將介紹3個Scala Spark編程執行個體，分別是WordCount、TopK和SparkJoin，分別代表了Spark的三種典型應用。 1. WordCount編程執行個體

      摘要：Spark是繼Hadoop之後的新一代大資料分散式處理架構，由UC Berkeley的Matei Zaharia主導開發。我只能說是神一樣的人物造就的神器，詳情請猛擊http://www.spark-project.org/ 1 Scala安裝        當前，Spark最新版本是0.5，由於我寫這篇文檔時，版本還是0.4，因此本文下面的所有描述基於0.4版本。

1. 概述 1970年，IBM的研究員E.F.Codd博士在刊物《Communication of the ACM》上發表了一篇名為“A Relational Model of Data for Large Shared Data Banks”的論文，提出了關聯式模式的概念，標誌著關聯式資料庫的誕生，隨後幾十年，關聯式資料庫及其結構化查詢語言 (SQL)SQL成為程式員必須掌握的基本技能之一。 2005年4月，Jeffrey Dean和Sanjay

Spark隨談（一）---總體架構 Spark是一個小巧玲瓏的項目，由Berkeley大學的Matei為主的小團隊所開發。使用的語言是Scala，項目的core部分的代碼只有63個Scala檔案，充分體現了精簡之美。 系列文章見： Spark隨談 http://www.linuxidc.com/Linux/2013-08/88592.htm Spark之依賴 （1）Map Reduce模型

與許多專有的大資料處理平台不同，Spark建立在統一抽象的RDD之上，使得它可以以基本一致的方式應對不同的大資料處理情境，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等。這即Matei Zaharia所謂的“設計一個通用的編程抽象（Unified Programming Abstraction）。這正是Spark這朵小火花讓人著迷的地方。 要理解Spark，就需得理解RDD。 RDD是什麼。 RDD，全稱為Resilient

今天要推薦的一篇文章發表在知名雲端儲存體提供者 Cloudera 的部落格，本文細緻且圖文並茂地講解了 Hadoop 的幾種典型檔案結構及他們之前的關係。NoSQLFan 將主要內容翻譯整理如下（如有錯漏，歡迎指正）： 1.Hadoop’s SequenceFile SequenceFile 是 Hadoop

本文英文原文發表於知名技術部落格《Highly Scalable Blog》，由@juliashine 進行翻譯投稿。感謝譯者的共用精神。 譯者介紹：Juliashine是多年抓娃工程師，現工作方向是海量資料處理與分析，關注Hadoop與NoSQL生態體系。 英文原文：《MapReduce Patterns, Algorithms, and Use Cases》 譯文地址：《MapReduce的模式、演算法和用例》

來自於仕琪的講稿《使用OpenCV進行影像處理》中的常式 /************************************************** * cvLoadImage, cvSaveImage, cvCreateImage, cvCopy以及映像顯示的例子 **************************************************/ /**************************************************

1、常見資料結構 線性：數組，鏈表，隊列，堆棧，塊狀數組（數組+鏈表），hash表，雙端隊列，位元影像（bitmap） 樹：堆（大頂堆、小頂堆），trie樹（字母樹or字典樹），尾碼樹，尾碼樹組，二叉排序/尋找樹，B+/B-，AVL樹，Treap，紅/黑樹狀結構，splay樹，線段樹，樹狀數組 圖：圖 其它：並查集 2、常見演算法 （1）      

1、概述 樹狀數組(binary indexed tree)，是一種設計新穎的數組結構，它能夠高效地擷取數組中連續n個數的和。概括說，樹狀數組通常用於解決以下問題：數組{a}中的元素可能不斷地被修改，怎樣才能快速地擷取連續幾個數的和。 2、樹狀數組基本操作 傳統數組(共n個元素)的元素修改和連續元素求和的複雜度分別為O(1)和O(n)。樹狀數組通過將線性結構轉換成偽樹狀結構（線性結構只能逐個掃描元素，而樹狀結構可以實現跳躍式掃描），使得修改和求和複雜度均為O(lgn)，

1、 概述 在進行演算法設計時，我們常用的兩種線性資料結構是數組和鏈表。它們各有優缺點。數組特點是元素在記憶體中緊挨著儲存，因而優點是定位快（O(1)），缺點是插入刪除慢（O(n)）；而鏈表則不同，它通過指標將不同位置的元素連結起來，因而優缺點與數組正好相反：定位慢（O(n)），插入刪除快（O(1)）。本文介紹一種新的資料結構：塊狀鏈表，它將數組和鏈表的優點結合來，各種操作的時間複雜度均為O(sqrt(n))。 2、 塊狀鏈表的基本操作

1、  概述 並查集（Disjoint set或者Union-find set）是一種樹型的資料結構，常用於處理一些不相交集合（Disjoint Sets）的合并及查詢問題。 2、  基本操作 並查集是一種非常簡單的資料結構，它主要涉及兩個基本操作，分別為： A． 合并兩個不相交集合 B． 判斷兩個元素是否屬於同一個集合 （1）       合并兩個不相交集合（Union(

今天依然在放假中，在此將以前在學校寫的四叉樹的東西拿出來和大家分享。 四叉樹索引的基本思想是將地理空間遞迴劃分為不同層次的樹結構。它將已知範圍的空間等分成四個相等的子空間，如此遞迴下去，直至樹的層次達到一定深度或者滿足某種要求後停止分割。四叉樹的結構比較簡單，並且當空間資料對象分布比較均勻時，具有比較高的空間資料插入和查詢效率，因此四叉樹是GIS中常用的空間索引之一。常規四叉樹的結構如圖所示，地理空間對象都儲存在葉子節點上，中間節點以及根節點不儲存地理空間對象。  

1、 概述 二叉尋找樹（Binary Search Tree，也叫二叉排序樹，即Binary Sort Tree）能夠支援多種動態集合操作，它可以用來表示有序集合、建立索引等，因而在實際應用中，二叉排序樹是一種非常重要的資料結構。 從演算法複雜度角度考慮，我們知道，作用於二叉尋找樹上的基本操作（如尋找，插入等）的時間複雜度與樹的高度成正比。對一個含n個節點的完全二叉樹，這些操作的最壞情況已耗用時間為O(log