其他

作者: 過往記憶  | 新浪微博： 左手牽右手TEL  | 可以轉載, 但必須以超連結形式標明文章原始出處和作者資訊及著作權聲明 部落格地址： http://www.iteblog.com/ 文章標題： 《Hadoop YARN中web服務的REST API介紹》 本文連結： http://www.iteblog.com/archives/960 Hadoop、Hive、Hbase、

AGG是一款功能非常強大的渲染引擎。它使用標準的C++和基本的C函數實現，但是它並沒有使用C++裡的stl中的一些模版函數。因此AGG可以在很多場合下使用，甚至在一些端和嵌入式開發中也可以使用。AGG也可以用在web服務端，你可以在服務端渲染出一個圖片返回給用戶端，AGG支援各種格式的資料，具有很好的跨平台性。

對於agg的字型進行了一個很簡單的介紹，下面就再對agg的畫線進行一個簡單的說明。 首先對於畫線來說，有幾種線條比如普通線， 虛實線，點陣狀的線條。agg對於每種線條都有支援。另外對於線條的起始的結束樣式也有幾種，這個屬性一般都是以linecap來標識。只有繪製較寬線段時，它才有效。這個屬性的合法值如下表所示。預設值是：”butt”。 “butt” 這個預設值指定了線段應該沒有線帽。線條的末點是平直的而且和線條的方向正交，這條線段在其端點之外沒有擴充； “round”

PySpark實現了Spark對於Python的API， 通過它，使用者可以編寫運行在Spark之上的Python程式， 從而利用到Spark分散式運算的特點。 基本流程 PySpark的整體架構圖如下， 可以看到Python API的實現依賴於Java的API， Python程式端的SparkContext通過py4j調用JavaSparkContext， 後者是對Scala的SparkContext的一個封裝。 對RDD進行轉換和操作的函數由使用者通過Python程式來定義，

在分布式系統的實現中，shuffle是一個非常關鍵的操作，直接決定演算法在分布式環境下執行的可行性。shuffle被稱為資料混洗，它在某些並行系統中被稱作exchange。shuffle最簡單的實現方式就是對資料做某種策略上的切分（比如說雜湊切分，比如說範圍切分），然後可以選擇切分之後的資料直接傳輸或者將資料持久化供容錯，我們比較一下這兩種方式。1，直接傳輸：當資料切分之後馬上傳輸，會不經過磁碟，直接從記憶體中向另一個節點的記憶體中傳，當然這可以使網路達到最大速度，但是沒法容錯，除非你設計的系統

今天在設定項目的site，運行之後出現： [WARNING] Error injecting: org.apache.maven.reporting.exec.DefaultMavenReportExecutorjava.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilterat java.lang.Class.getDeclaredConstructors0(Native Method)at

搭建環境準備：JDK1.6，SSH免密碼通訊 系統：CentOS 6.3 叢集配置：NameNode和ResourceManager在一台伺服器上，三個資料節點 搭建使用者：YARN Hadoop2.2下載地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 步驟一：上傳Hadoop 2.2 並解壓到/export/yarn/hadoop-2.2.0 外層的啟動指令碼在sbin目錄

今天嘗試在Hadoop 2.x開發叢集上配置Kerberos，遇到一些問題，記錄一下 設定hadoop security core-site.xml <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property>

在單機上安裝了storm並成功運行wordcount後，進入本周工作的下一步：熟悉storm on yarn. 熟悉的第一步還是安裝和部署。 已有的環境：三台伺服器，hadoop01/hadoop02/hadoop03，已經安裝好了hadoop 2.2.0版本，有yarn環境和hdfs環境。 需要的軟體與配置： 1） 安裝storm的依賴包zeromq與jzmq，詳細參見 http://blog.csdn.net/flyhighzy/article/details/3767

如果經常使用Struts，並做過國際化操作的人來說，對於中文資源檔的處理應該不會感到陌生的。比如下面兩個檔案，一個是英文的，一個是中文的。對於英文的，一切照常；對於中文的，一般需要用JDK的native2ascii工具進行轉換。 　　 　　application_en.properties 　　# Resources for the Hello sample application 　　hello.title=A first Struts program 　　hello.prompt.user=

目錄 說明 spring-beans-3.0.xsd 說明： Spring3.0 最主要的Schema，用來配置bean。 命名空間：

1.定義js/ueditor/myCustomize/myCustomizeLine.js UE.registerUI('customizeline',function(editor,uiName){     //建立dialog     var dialog = new UE.ui.Dialog({         //指定彈出層中頁面的路徑

作業提交到的隊列：mapreduce.job.queuename 作業優先順序：mapreduce.job.priority，優先順序預設有5個:LOW VERY_LOW NORMAL（預設） HIGH VERY_HIGH 1、靜態設定 1.1 Pig版本 SET mapreduce.job.queuename root.etl.distcp; SET mapreduce.job.priority HIGH;

這是leetcode中的合并兩個排序數組的題目，題目為：A和B兩個數組已經排序，A可以容納A和B的數組，我的思路為： 將A往後移，因為移動之後就不用再移動了，然後合并就不需要總是去賦值。 /** to this problem, we can move the whole A back, yes a good solution!*/class Solution {public: void merge(int A[], int m, int B[], int n) {

facebook presto是最近出來的一個互動分散式查詢引擎，支援簡單的SQL，據稱比mapreduce快10倍，訪問presto homepage可以深入瞭解presto presto最好是用一個專門儲存data的目錄，這個目錄存放log和local metadata，獨立開來的data目錄有利於更新 配置presto node properties：包含針對於每個節點的configuration，也就是說每個節點的configuration都是個人化的 jvm

1，添加elasticsearch-hadoop-hive-2.1.2.jar到Hive。Hive添加第三方包，查看：http://blog.csdn.net/qianshangding0708/article/details/50381966  2，在hive中建立Elasticsearch外表： @Testpublic void testESTable() { try {HiveHelper.excuteNonQuery("CREATE

6.1、註解式控制器簡介 一、Spring2.5之前，我們都是通過實現Controller介面或其實現來定義我們的處理器類。已經@Deprecated。   二、Spring2.5引入註解式處理器支援，通過@Controller 和 @RequestMapping註解定義我們的處理器類。並且提供了一組強大的註解：  

hadoop yarn已經解決了MRv1中的諸多問題，在此安裝一下hadoop yarn，然後方便學習spark，yarn 在hadoop第一版中的如/etc/hosts，ssh無密碼登入等問題在此不會詳細介紹，在此只是介紹一下yarn和hadoop version1的基本的配置不一樣的地方 基本的三個設定檔會有區別，在此列出我自己的三個檔案的配置情況，也是最基本的配置，然後給出yarn-site.xml的配置，最後解決一個遇到的問題。 1，core-site.xml檔案

今天散仙寫了個MapReduce作業，目的是讀資料庫裡面多個表的資料，然後在JAVA中根據具體的業務情況做過濾，並把符合資料的結果寫入到HDFS上，在Eclipse裡面提交作業進行調試的時候，發現在Reduce階段，總是拋出Java heap

步驟一、 springmvc.xml中配置定時任務標籤、添加命名空間： <!-- 配置定時器 --> <task:annotation-driven/>