其他

//啟用yarn 作為資源管理架構 <configuration>     <property>         <name>mapreduce.framework.name</name>        

Hive面試題—理清hive應用思路 問題：有一張很大的表：TRLOG該表大概有2T左右。 TRLOG：CREATE TABLE TRLOG(PLATFORM string,USER_ID int,CLICK_TIME string,CLICK_URL string)row format delimited fields terminated by '\t'; 資料： PLATFORM USER_ID CLICK_TIME

在Hadoop叢集中任選一台伺服器作為Hive的伺服器。主要配置Hive，配置好後，啟動該伺服器的meterstore，並配置 <!--配置使遠程用戶端串連Hive伺服器bidev-cdh005--><property> <name>hive.metastore.uris</name> <value>thrift://bidev-cdh005:9083</value> </property>

hive各版本主要特徵 Hive 各版本關鍵新特性（Key New Feature）介紹 官網下載頁面的介紹 hive基礎 命令列介面 hive提供的使用者介面包括：CLI、Client、WebUI幾種方式，我們平常主要使用CLI方式，未來叢集升級之後可能會有提供可視化的介面允許我們直接從WebUi訪問。 早期的hive版本主要使用HIVE CLI（old），之後發展為使用BeeLine

  8皇后問題是一道非常經典的題目。題目是說，一個N*N的國際象棋棋盤上主放置N個皇后，使其不能相互攻擊，即任何兩個皇后都不能處在棋盤的同一行，同一列，同一條斜線上，試問共有多少種擺法。         其實，題目就是要找出所有的可能情況，然後排除其中不合格情況，剩下的情況即為所要求的。怎麼找出所有的情況呢。對於8皇后，我們可以使用窮舉法，窮舉出每一种放置方法，然後判斷是否符合題意。如果每次放一行，那就需要8

G(x)=sign⎛⎝⎜⎜∑t=1Tαtsign(wTtx)g(x)⎞⎠⎟⎟ G(\mathbf x)=\text{sign}\left (\sum_{t=1}^T\alpha_t\underbrace{\text{sign}(\mathbf w_t^T\mathbf x)}_{g(\mathbf x)}\right ) AND 與問題 G(x)=−1+g1(x)+g2(x)G(x)=−1⋅g0+1⋅g1+

取數遊戲 題目描述    我們來玩一個遊戲：自然數1到N，按順序列成一排，你可以從中取走任意個數，但是相鄰的兩個不可以同時被取走。如果你能算出一共有多少種取法，那麼你會被天神Lijiganjun獎勵。 輸入   僅包含一個數n（1< n < 50）。 輸出   僅包含一個數———你的答案。 範例輸入

導言 神經網路是深度學習基礎，BP演算法是神經網路訓練中最基礎的演算法。因此，對神經網路結構和BP演算法進行梳理是理解深度學習的有效方法。參考資料UFLDL，BP推導，神經網路教材。 神經網路結構 典型網路為淺層網路，一般2~4層。其結構如下圖所示： 假設神經網路有L層，第 1 1層為輸入層，最後一層（第 L L層）為輸出層，中間 2，3，……L−1 2，3，……L-1為隱層。每層有

Hive的一般學習者和培訓者在談效能最佳化的時候一般都會從文法和參數這些雕蟲小技的角度談最佳化,而不會革命性的最佳化Hive的效能,產生這種現象的原因有: 1,曆史原因和思維定勢:大家學習SQL的時候一般都是就單機DB,這個時候你的效能最佳化技巧確實主要是SQL文法和參數調優; 2,Hive的核心的效能問題往往是產生在超過規模資料集,例如說100億條層級的資料集,以及每天處理上千上萬個Hive作業的情況下產生的;

—————–>>>>>> 題目來源<<<<<<——————— 題目描述 有個小孩正在上樓梯，樓梯有n階台階，小孩一次可以上1階、2階、3階。請實現一個方法，計算小孩有多少種上樓的方式。為了防止溢出，請將結果Mod 1000000007 給定一個正整數int n，請返回一個數，代表上樓的方式數。保證n小於等於100000。 測試範例： 1 返回：1

 目標：結構體類型，結構體變數，結構體初始化。弄清這3個概念及其間的聯絡。   結構的定義 定義一個結構的一般形式為： struct 結構名 { 成員表列 } 成員表由若干個成員組成，每個成員都是該結構的一個組成部分。 對每個成員也必須作類型說明。 例如： struct stu { int num; char name[20]; int age; } 結構類型變數的說明

這幾個概念很容易混淆，需要寫一遍文章梳理 Spark的stage & job & task 到底是什麼 ,以及劃分原理 Stage 是spark 中一個非常重要的概念 ， 在一個job 中劃分stage 的一個重要依據是否有shuflle 發生 ，也就是是否會發生資料的重組 （重新組織資料）。 在一個stage 內部會有很多的task 被執行，在同一個stage 中 所有的task 結束後才能根據DAG 依賴執行下一個stage 中的task. job

題目：一個人需要上樓梯，每次他只能上1，2或者3節台階一共有18節台階，問此人有多少種方法走上樓梯。 解：此題是遞迴題，f(18)=f(17)+f(16)+f(15); 解析：假設只有一節台階 有1種方法可以上去，2節台階時有2種，3節時有4種方法，按照上述歸納f(4)=f(1)+f(2)+f(3);以此繼續算； 若是求共18節樓梯，其實就可以倒著想，他最後上到18級時，只能有3種方式，1級2級3級，若為1級，則有的方法就是f(17),若為2級，則有的方法就是f(16),

題目： Problem Description 有一樓梯共M級，剛開始時你在第一級，若每次只能跨上一級或二級，要走上第M級，共有多少種走法。   Input 輸入資料首先包含一個整數N，表示測試執行個體的個數，然後是N行資料，每行包含一個整數M（1<=M<=40）,表示樓梯的級數。   Output

安裝 Scala IDE 搭建 Scala 語言開發環境很容易，Scala IDE 官網 下載合適的版本並解壓就可以完成安裝，本文使用的版本是 4.1.0。 安裝 Scala 語言套件 如果下載的 Scala IDE 內建的 Scala 語言套件與 Spark 1.3.1 使用的 Scala 版本 (2.10.x)

HiveServer2提供了一個新的命令列工具Beeline，它是基於SQLLine CLI的JDBC用戶端。關於SQLLine的的知識，可以參考這個網站：http://sqlline.sourceforge.net/#manual Beeline工作模式有兩種，即本地嵌入模式和遠程模式。嵌入模式情況下，它返回一個嵌入式的Hive（類似於Hive CLI）。而遠程模式則是通過Thrift協議與某個單獨的HiveServer2進程進行串連通訊。

hive資料去重，並根據需求取其中一條 資料案例： name  adx       tran_id                 cost    

星形模式是一種多維的資料關係，它由一個事實表（Fact Table）和一 組維表（Dimension

這2個概念很容易混淆，需要寫一遍文章梳理 spark的 DAGschedule & task schedule 區別以及相互聯絡 在我們的應用程式的mian 方法中我們定義了sparkcontext ，sparcontext 會幫我們產生這兩個調度器 DAGschedule（進階調度器） & task schedule（低級調度器） DagScheduler：DagScheduler是一個進階的scheduler

建表 drop table dml.sina_blog_sentiment_result; create external table dml.sina_blog_sentiment_result (   news_time string comment '文章發布時間', url string comment '文章url', author string comment '文章作者', sentence_id string comment