其他

      1）建立外部表格create external table test(username String,work string) PARTITIONED BY(year String, month String, day String) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/tmp/test/';      2）修改表建立分區alter table test add partition (year='2010'

       由於最近叢集xcievers錯誤頻頻發生，已經到了影響叢集正常運營的地步，於是決定修改叢集所有的datanode節點的配置，並重啟datanode，欲添加的配置項如下： <property> <name>dfs.datanode.max.xcievers</name> <value>256</value> </property>       

     在調試mapred程式時，經常會遇到以下錯誤碼：java.io.IOException: Cannot run program "/data3/hadoop/mapred/mrlocal/taskTracker/test/jobcache/job_201203021500_101813/attempt_201203021500_101813_m_000000_0/work/./FptreeMap.py": java.io.IOException: error=2, No such

     在使用第三方包lxml引入etree模組時報錯：>>> from lxml import etreeTraceback (most recent call last): File "<stdin>", line 1, in ?ImportError: dynamic module does not define init function (initetree)  

      在日誌中使用xml格式可以有效提高日誌的擴充性和可讀性，但是由於xml嚴格的格式要求導致xml解析很容易出錯，出錯的原因通常是日誌寫入端在寫入日誌時沒有遵循xml格式規範或者是使用了非ascll編碼的字元。非ascll編碼的字元很容易導致xml格式失效，下面就是一個非ascll字元導致xml解析失敗的例子：      在定位問題的過程中，這些非ascll字元很難通過肉眼來察覺，因為python在print 列印非ascll碼字元時，會顯示亂碼或者是其他的正常字元，如：

點擊查看原文Hadoop提供若干種在調試HadoopStreaming的方法，供你使用，方便你快速定位問題。讓HadoopStreaming程式跑在開發機上。（推薦在開發時使用）在jobconf中加上mapred.job.tracker=local。資料的輸入和輸出都是來自HDFS此時，HadoopStreaming會在本地運行程式 保留出錯的現場（推薦在跑大資料量時使用）通過設定jobconf參數keep.failed.task.files=true，當程式出錯時，可以保留現以供Debug。可

      最近在調研推薦系統，在看到slope one方面的資料時，對 slope one演算法的實現和原理產生了一些疑問，望大牛不吝指教：      疑問一：slope one演算法中需要計算所有商品評分的平均差，但是對於現實推薦應用而言，商品的數量通常為數萬層級，而這種規模的商品產生的二項組合已經達到了千萬層級，如此大規模的計算量需要使用什麼樣的計算架構實現？為什麼slop one演算法還被稱之為簡單高效的演算法？      疑問二：slope

        今天在調試mapred streaming指令碼時，發生了非常奇怪的問題：mapred指令碼在被tasktracker調用後總是會隨機的失敗，錯誤資訊如下：java.lang.RuntimeException: java.lang.NullPointerExceptionat org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)at

1）安裝lighttpd：wget http://download.lighttpd.net/lighttpd/releases-1.4.x/lighttpd-1.4.30.tar.gz./configure -prefix /opt/modules/lighttpdmakemake installcp doc/initscripts/rc.lighttpd.redhat /etc/init.d/lighttpd修改啟動指令碼：將第29行修改為：lighttpd="/opt/modules/li

文章目錄 1. System.out 和 System.err2. 計數器3. 設定狀態4. 使用輸出檔案輸出調試資訊參考                                                轉載   Hadoop程式列印調試1. System.out 和

演算法雜貨鋪——分類演算法之決策樹(Decision tree)2010-09-19 16:30 by T2噬菌體, 5227 visits, 收藏, 編輯3.1、摘要      在前面兩篇文章中，分別介紹和討論了樸素貝葉斯分類與貝葉斯網路兩種分類演算法。這兩種演算法都以貝葉斯定理為基礎，可以對分類及決策問題進行機率推斷。在這一篇文章中，將討論另一種被廣泛使用的分類演算法——決策樹（decision

Hive Command line OptionsUsage: Usage: hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S] -i <filename> Initialization Sql from file (executed automatically and silently before any

      線上上的hadoop叢集營運過程中，hadoop 的balance工具通常用於平衡hadoop叢集中各datanode中的檔案塊分布，以避免出現部分datanode磁碟佔用率高的問題（這問題也很有可能導致該節點CPU使用率較其他伺服器高）。     1） hadoop balance工具的用法：To start:bin/start-balancer.sh [-threshold <threshold>]Example: bin/

本文基於署名-非商業性使用 3.0許可協議發布，歡迎轉載，演繹，但是必須保留本文的署名張洋（包含連結），且不得用於商業目的。如您有任何疑問或者授權方面的協商，請與我聯絡。演算法雜貨鋪——分類演算法之樸素貝葉斯分類(Naive Bayesian classification)2010-09-17 13:09 by T2噬菌體, 8151 visits, 收藏, 編輯0、寫在前面的話     

文章目錄 MiniDFSCluster在IDE中調試運行迴歸

     在測試mapred程式中串連mongodb時（python streaming作業），mapred程式拋出了錯誤Traceback (most recent call last): File

本文出自 “熾天使” 部落格，請務必保留此出處http://3199782.blog.51cto.com/3189782/703873原創作品，允許轉載，轉載時請務必以超連結形式標明文章 原始出處 、作者資訊和本聲明。否則將追究法律責任。http://3199782.blog.51cto.com/3189782/703873 最近在最佳化hiveSQL，下面是一段排序，分組後取每組第一行記錄的SQLINSERT OVERWRITE TABLE t_wa_funnel_distinct_temp 

由於hive當前啟動並執行伺服器A需要添加其他業務，所以計劃將hive服務遷移到另外一台伺服器B上，執行操作：  1）在B伺服器上安裝mysql，server和client端，可以再mysql官方網站上下載。  2）在B伺服器上的mysql中建立hive串連mysql的使用者，建立資料庫hive  3）在A伺服器上運行命令：mysqldump hive >>hive_backup.sql，匯出hive中繼資料庫  4）將hive_backup.sql拷貝到B伺服器，在B伺服器上運行：

原文串連已經無法開啟一、美好的藍圖剛接觸MongoDB的時候，看到它的auto-sharding功能圖，配合上replica sets簡直有一種一統世界的感覺。既：圖中路由機mongos可以有多台，config機器可以多台配置成主從或者replica sets，sharding的每個結點是三台mongod組成的replica

演算法雜貨鋪——分類演算法之貝葉斯網路(Bayesian networks)2010-09-18 22:50 by T2噬菌體, 5977 visits, 收藏, 編輯2.1、摘要