其他

2009-4-20 11:35:26Ant在讀取以UTF-8編碼儲存的檔案時存在問題，相關檔案應該以Ascii編碼儲存。 2009-4-20 14:32:59: bad interpreter: No such file or directory表示文檔為dos格式，需要轉化為Unix換行格式.這個檔案是在Windows下編寫的，其換行的方式 與Unix不一樣，但是在VI下面如果不Set一下又完全看不出來。解決方案：1、上傳到linux主機運行      chmod +x back   

資料--》資料倉儲--》資料採礦-》模型評估-》知識資料分析通過資料分析可以發現最有價值客戶，是組合銷售更有效率，留住那些最有價值客戶，用更小的成本發現欺詐現象。通訊業行動數據分析目的是為了方便快捷地系統管理使用者。但資料中包含了很多關於各個變數之間關係的資訊，這些資訊可被用來改進相關領域的決策。基礎在於資料庫的資料的處理，資料處理有兩種類型1、操作型（聯機交易處理OLTP（on-line transaction

1. 基礎資料型別 (Elementary Data Type)tinyint , smallint, int, bigint, float, double, boolean: true/false, string2. 基礎運算子與函數A IS NULL         空 A IS NOT NULL     非空     A LIKE B     模糊比對 A RLIKE B     Regex匹配 A REGEXP B  Regex匹配3. 類型轉換 cast(expr as

談到ETL，很多人都認為最重要的只是涉及到抽取、轉換、載入那些指令碼以及指令碼的效率這幾個方面，其實不盡然， ETL其實包含了很多方面，現在我談談個人在ETL方面的心得。（一）資料來源。在跨系統做資料幫浦的時候往往忽視了幾個重要的原則，其一，源表結構的穩定性。如果源表結構有改變，如何保證ETL不受影響。其二， 資料介面。源系統如何把資料提供給目標，如果是文本形式，那麼就有必要對文本的格式進行約定，同時就如何保證文本的到達通訊、文本的完整性做好相應的策

在寫hive查詢的時候，如果遇到特殊字元需要使用一些轉義符進行轉義，如：hive>select split(ip,’\&’) from students;通過轉義，hive能識別&，並按&進行分割。但現實中使用會有一些問題，如hive>select split(ip,’\.’) from students;該語句無法安裝’.'來分割ip。經過仔細研究發現需要寫成如下格式：hive>select split(ip,’\\.’) from students;

文章目錄 3.1空值產生的資料扭曲3.2不同資料類型關聯產生資料扭曲3.3小表不小不大，怎麼用 map join 解決傾斜問題 在做Shuffle階段的最佳化過程中，遇 到了資料扭曲的問題，造成了對一些情況下最佳化效果不明顯。主要是因為在Job完成後的所得到的Counters是整個Job的總和，最佳化是基於這些

用了近2年的emacs，沒想到進了公司基本就沒有機會摸了。。全都是裸環境，一次兩次還好。。轉投vi的陣營也不只是單純的環境原因吧，感覺vi的操作更快一些，堅持用一些命令時間長了會很大的提高效率。 3.27 更新新學的幾個地方，ctags還在摸索中·0·零  瀏覽代碼      拿到開原始碼或者類似遺留代碼的時候，閱讀是必不可少的工作，通常我喜歡先整體的瀏覽下代碼，長度，格式，是否符合個人的審美觀點，再開始學習。所以常用 的第一個命令就是開啟文本瀏覽器 :{}

轉自：http://blog.chinaunix.net/u/8681/showart.php?id=1145851我打賭正在看這篇文章的你, 超過99%的可能性你對這個問題的理解是錯的. 或者至少是有偏差的.我深信這是一種教育法上的廣泛錯誤, 那就是告訴大家說:if [ condition ]then...fi這是bash中條件陳述式的"文法".任 何人, 或者說幾乎任何人, 都會在這種描述下自然地認為: [ 和 ] 是這種文法結構本身的一部分, 並且,

第一境界：       家長捨得給孩子花錢，以為錢就是全部愛的表達。第二境界：       家長捨得給孩子花時間，陪在孩子的身邊，見證孩子的成長。第三個境界：       家長開始思考教育的目標問題——我究竟想要一個什麼樣的孩子？一旦目標能夠清晰地確定，家長就不容易被人裹挾著，熱衷於跟風、盲目地對孩子進行培養。第四個境界：       家長為了教育孩子去學習，他們不再停留在“沒有辦法”或者“管不了”，而是關注孩子的問題癥狀及其原因，積極進行幹預和矯正。第五個境界：       家長為了教育孩子而

 PageSpeed Insights是由google官方推出的最佳化網頁效能助手. 安裝後按F12，在開發人員工具裡多出一個tab， 開啟網頁點擊分析。  效果：可以給出不同優先順序的改進建議。 Yahoo的FireFox外掛程式YSlow也非常強大，基於firebug. 另外昨天下了firefox13. 發現的螢幕功能挺好。可以截整個網頁（即使有捲軸）。 

Ubuntu10.04下的檔案結構，看看每個檔案夾都是幹嗎用的 /bin 二進位可執行命令 /boot   1 可以有幾個不同的作業系統共用同一套核心 方便管理             2 boot目錄的IO訪問比較少，單獨放在一個分區，可以防止其它目錄的讀寫導致boot的inode損壞             3 老主板有1024柱面問題 單獨在前1024柱面分一個boot分區 可以避免這個問題 4

DWR（Direct Web Remoting）是Java和JavaScript相結合的開源庫，通過它可以簡單、容易地構建Ajax程式，開發人員無需瞭解XMLHttpRequest的編碼細節。通過用戶端的JavaScript採用看似呼叫瀏覽器本地代碼的方法來調用伺服器端的代碼，這即是DWR中“直接”的含義。DWR的顯著特徵就是提供服務端代碼視為瀏覽器中JavaScript代碼的方法。本質上DWR就是一種RPC（Remote Procedure

前言： 年前，在老大的號召下，我們糾集了一幫人搞起了hadoop，並為其取了個響亮的口號“雲在手，跟我走”。大家幾乎從零開始，中途不知遇到多少問題，但終 於在回家之前搭起了一個擁有12台伺服器的叢集，並用命令列在該叢集上運行了一些簡單的mapreduce程式。想藉此總結我們的工作過程。安裝過程： 一、安裝Linux作業系統 二、在Ubuntu下建立hadoop使用者組和使用者 三、在Ubuntu下安裝JDK 四、修改機器名 五、安裝ssh服務 六、建立ssh無密碼登入本機

資料採礦常用的方法 利用資料採礦進行資料分析常用的方法主要有分類、迴歸分析、聚類、關聯規則、特徵、變化和偏差分析、Web頁挖掘等， 它們分別從不同的角度對資料進行挖掘。①分類。 分類是找出資料庫中一組資料對象的共同特點並按照分類模式將其劃分為不同的類，其目的是通過分類模型，將資料庫中的資料項目映射到某個給定的類別。它 可以應用到客戶的分類、客戶的屬性和特徵分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷

      第一步：為磁碟分割用來安裝Ubuntu。(這一步就可以跳過，這樣做只是為了方便管理檔案，不另外分區也可以完成安裝的！）首先，我們可以用分區工具分出一個10G(大小根據你自己的實際情況而定)的盤出來， 推薦使用NTFS格式分區，這樣才可以分給 Ubuntu 4G 以上的空間。　　第二步： 下載 Ubuntu 12的鏡像檔案，可以使用 WinRAR 等工具開啟鏡像檔案，從裡面提取出 Wubi.exe 安裝程式。下載完後將 wubi 和 Ubuntu

這幾天有點忙，所以沒有很多時間把寫的東西上傳上來，這個拿出來是應一些做市場分析的童鞋的要求，我還記得這是我剛去金山工作時整理的，出處我忘記了，如果有誰知道，別忘記提醒我，這個算是掃盲吧，這幾天會陸續上傳一些新東西。1.CPC(CostPerClick；CostPerThousandClick-Through)每點擊成本　　以每點擊一次計費。這樣的方法加上點擊率限制可以加強作弊的難度，而且是宣傳網站網站的最優方式。但是，此類方法就有不少經營廣告的網站覺得不公平，比如，雖然瀏覽者沒有點擊，但是他已經

    對於編程的初學者，可以先通過簡單的排序演算法瞭解最簡單的ADT線性表的常用操作；然後要重點掌握遞迴技術,包括遞迴和遞推的相互轉換。遞迴技術非常重要， 可以通過遞迴技術瞭解ADT棧的操作；接著學習搜尋法的初步——回溯法，研究經典問題八皇后問題和走迷宮問題，通過這些經典問題瞭解深度優先搜尋法 (DFS)和寬度優先搜尋法(BFS)以及ADT棧、ADT隊列的操作，要學會利用人工設定堆棧類比遞迴；接著可以學習分治法、貪進法這兩種常用的策略，

一、Hadoop快速入門分散式運算開源架構Hadoop_入門實踐一篇不錯的hadoop介紹文章用 Hadoop 進行分布式資料處理---- 入門Hadoop入門實驗 Hadoop入門一圖解說Hadoop的發展曆程討論：Hadoop社區與中國雲端運算開源展望用Hadoop進行分布式資料處理入門篇Hadoop入門簡介hadoop入門語錄為什麼Hadoop一定是分散式運算的未來？Hadoop Ubuntu

XslTransform.Transform

我們選擇的是jdk1.6.0_30版本。安裝檔案名稱為jdk-6u30-linux-i586.bin. 1、複製jdk到安裝目錄 （1）假設jdk安裝檔案在案頭，我們指定的安裝目錄是：/usr/local/java 。可是系統安裝後在/usr/local下並沒有java目錄，這需要我們去建立一個java檔案夾，（1）  （2）切換到案頭下，執行複製，（2）   2、安裝jdk （1）切換到root使用者下，（3）   （註：如果因忘記密碼而認證失敗，可以先修改root使用者的密碼，再執行第（1）