Time of Update: 2018-08-23
調節executor堆外記憶體 spark底層shuffle的傳輸方式是使用netty傳輸,netty在進行網路傳輸的過程會申請堆外記憶體,所以使用了堆外記憶體。 什麼時候需要調節Executor的堆外記憶體大小。 當出現一下異常時: shuffle file cannot find,executor lost、task lost,out of memory 出現這種問題的現象大致有這麼兩種情況:
Time of Update: 2018-08-23
題面 題意 維護一個矩陣,要求支援以下兩種操作: 1.對一個子矩陣全部Xor一個值 2.詢問一個子矩陣的Xor值. 做法 首先考慮一維的情況,如果要維護區間異或,可以讓每一個點i表示[1,i]這段區間的異或值,就可以發現,當區間[i,j]異或上一個值時: 1.當(j-i)為奇數時,[i,j]中與i的奇偶性相同的點會受到影響. 2.當(j-i)為偶數時,[i,j]中與i的奇偶性相同的點和j右邊的所有點都會受到影響.
Time of Update: 2018-08-23
一般時間序列的均值函數是完全任意的時間函數,平穩時間序列的均值函數是一定時域上的常數。 1 確定性趨勢與隨機趨勢 下文考慮確定趨勢的建模方法 2 常數均值的估計 假設均值函數是常數,模型可以寫為 Y t =μ+X t 其中對所有的 t 有 E(X t )=0 若用樣本觀測到的時間序列
Time of Update: 2018-08-23
http://www.ibm.com/developerworks/cn/websphere/techjournal/0505_wang/0505_wang.html 什麼是概要檔案。 WebSphere Application Server V6 引進了概要檔案概念,目的是將產品二進位檔案(binaries)與使用者資料物理分離,並使使用者能定義多組使用者資料。 在 WebSphere Application Server 第 6
Time of Update: 2018-08-23
每每以為攀得眾山小,可、每每又切實來到起點,大牛們,緩緩腳步來俺筆記葩分享一下吧,please~ ——————————————————————————— 本筆記來源於CDA-DSC-L2R的課程。主要探討精準營銷的解決方案、營銷組合的評估。 ———————————————————————————————————————————— 一、精準營銷實際問題 充分利用各種技術手段,將營銷資訊推送到比較準確的受眾群體中,從而既節省營銷成本,又能起到最大化的營銷效果。
Time of Update: 2018-08-23
轉載:http://blog.csdn.net/u012162613/article/details/44261657 本文是《Neural networks and deep learning》概覽 中第三章的一部分,講機器學習/深度學習演算法中常用的正則化方法。(本文會不斷補充) 正則化方法:防止過擬合,提高泛化能力
Time of Update: 2018-08-23
首先,scrollView 根據需要的可以自己改。Horizontal代表水平方向滾動,vertical代表豎直方向。 MovementType 移動模式 Inertia 滑鼠放下後還可以動一點點。 scrollbar可以根據需要的自訂,也可以不要。 然後,在content裡面加入GridLayOutGroup,使底下的東西按照網格排放。 Padding的概念和寫網頁時padding的概念一樣,代表邊距。 Cell
Time of Update: 2018-08-23
#缺失值 an=c(1,2,NA)is.na(an) #會形成一個布爾向量 布爾向量就是一群像(FALSE,FALSE,TURE)這樣的向量。 關於缺失值還有一個函數:complete.cases函數 該函數與is.na的區別在於: 1、輸出資料格式不同。is.na按照資料框格式形成一個(FALSE,FALSE,TURE)列,而complete.cases形成是一個數列向量,不再是按照資料框格式;
Time of Update: 2018-08-23
Alias就是定義別名,比如我當前的WEB文檔目錄位於/www/html/下,但有一些內容存放在/www/static//這時如果希望使用者能訪問/www/static/下的內容。就要定義別名,代碼如下: Alias /static/ "/www/static/" 這樣用戶端就可以通過 http://www.yourdomainname.com/static/訪問/www/static下的內容。
Time of Update: 2018-08-23
有一串整數,這串數字數字不定,共N個,求出其中出現次數最多的數字(原題是找出現次數大於N/2的那個數) 對於這個問題一般演算法是什麼。 一般演算法 迴圈數組,對一個數字找相同數字,找到就總數加一,並把相同的數字標記為-1,以後在迴圈時不再計算 重複迴圈計算直到找結果,其中有些小技巧可以提前結束,就是如果一個數的出現次數超過N/2,那麼它肯定是結果。 一個老鳥的演算法 他充分分析了數字相同的規律,相同的數字他們的二進位值、十進位值、十六進位值各都相等
Time of Update: 2018-08-23
主要用到VIM和mice包 install.packages(c("VIM","mice")) 1.處理缺失值的步驟 步驟: (1)識別缺失資料; (2)檢查導致資料缺失的原因; (3)刪除包含缺失值的執行個體或用合理的數值代替(插補)缺失值 缺失值資料的分類: (1)完全隨機缺失:若某變數的缺失資料與其他任何觀測或未觀測變數都不相關,則資料為完全隨機缺失(MCAR)。
Time of Update: 2018-08-23
寫了一堆代碼發現有點問題,又怕刪了以後要找很麻煩。。 我們的辦法一般都是先將它注釋掉,等確定不需要有時再將它徹底DELETE。 但是經常會碰到需刪的代碼裡有注釋資訊的情況。。 那麼就不能注釋了。 以前總是束手無策,今天看到個好方法。就是用條件編譯將它KO掉: 比如 #ifdef deleted ..... #endif &
Time of Update: 2018-08-23
silverlight的MediaElement可以做到幀精確播放,但是在不同瀏覽器、不同視頻格式封裝格式下有較大差別。(甚至有很多BUG,特別是downloadprogress這個函數) 經過反覆實驗,發現一種方法,可以實現progressive download並且幀精確的定位,並且經過簡單的測試,在IE和chrome下都準系統正常。 使用h.264+AAC編碼,mp4封裝。moov放在視頻頭部,faststart模式 附ffmpeg轉碼參數:
Time of Update: 2018-08-23
以下來自《編寫有效用例》這本小書的第四章 在做需求分析過程中,通常要找到系統直接或間接的使用者,從這些使用者身上找到系統所要實現的機能,如果系統可以完全滿足這些使用者的利益需求,這個系統就可以算做是一個成功的系統 狹義來講,項目相關人員和執行者最好能夠區別看待 項目相關人員之契約的參與者。執行者是指任何具有行為的事物,某種情況下的項目相關人員也是執行者。 1. 系統的項目相關人員(stakeholder) 2. 用例的主執行者(primary
Time of Update: 2018-08-23
當一個程式員有“潔癖”的時候,它的代碼才會越寫越好。 雖然不敢說自己水平有多高,但是自己寫代碼也越來越染上潔癖, 不允許自己的代碼中有一絲敷衍或者是架構的彆扭。 每個細節都要優美,考慮設計模式。每個邏輯都考慮如何複用,雖然代碼寫起來可能比較慢,但是出自自己手下的代碼一定要是“精品”。 這裡奉上網上一個兄弟提供的WPF中資料繫結的屬性精簡寫法, 本來很長一段,如下。微軟官方代碼產生的例子 public string Password {
Time of Update: 2018-08-23
幾個月前偶然看到孟兄的blog,讀過之後,如獲至寶,自認為對矩陣有了更深的認識。現在總結分享一下。 “按照現行的國際標準,線性代數是通過公理化來表述的,它是第二代數學模型,...,這就帶來了教學上的困難。”事實上,當我們開始學習線性代數的時候,不知不覺就進入了“第二代數學模型”的範疇當中,這意味著數學的表述方式和抽象性有了一次全面的進化,對於從小一直在“第一代數學模型”,即以實用為導向的、具體的數學模型中學習的我們來說,在沒有並明確告知的情況下進行如此劇烈的paradigm
Time of Update: 2018-08-23
前幾天看到一道演算法題目,看起來挺簡單,就是有一個由0和1構成的矩形,然後找到這個矩形中全部元素都是1的最大子矩形,初看起來好像挺簡單,但是我想半天沒有想出來。上網搜了下才發現,這道題目還挺有名的,很多人都寫文章探討過,一個非常好的解法是借用一個找長條圖中最大面積矩形的演算法,可以用很短的代碼來實現。所以我準備記述一下關於這兩道題目的解法,有著一些自己的視角可供參考。 尋找長條圖中的最大矩形 這道題的題目如下: Given n non-negative integers
Time of Update: 2018-08-23
QQ-plot深入理解與實現 26 JUN June 26, 2013 最近在看關於CSI(Channel State Information)相關的論文,發現論文中用到了QQ-plot。Sigh。我承認我是第一次見到這個名詞,異常陌生。維基百科給出了如下定義:
Time of Update: 2018-08-23
今天被問到cross bilateral Filter,雖然自己知道這肯定是一種濾波演算法,但是究竟它和bilateral Filter有什麼關係。覺得,作為一個影像處理研究者,一定要基礎紮實,所以趕緊去看看。 NerdLand在Tech Stuff中描述提到“Joint Bilateral Filter is also referred to as Cross bilateral filter”。也就是說Both mean the same。 原來神乎其神的Cross
Time of Update: 2018-08-23
uCOS-II在MSP430上的移植2--詳細過程 1、建立一個IAR工程檔案,儲存在“E:\430uCOSII\OSTest”檔案夾下。建立一個檔案夾src,用來存放原始碼。如下圖所示。 2、添加原始碼相應檔案夾中。 (1)在Src檔案夾下建立兩個檔案夾,分別為“oskernel”和“MSP430Ports”。 (2)解壓Micrium-uCOS-II-V286.ZIP。