其他

一個Executor對應一個JVM進程。 從Spark的角度看，Executor佔用的記憶體分為兩部分：ExecutorMemory和MemoryOverhead         一、ExecutorMemory ExecutorMemory為JVM進程的Java堆地區。大小通過屬性spark.executor.memory設定。也可以在spark-submit命令時用參數--executor-memory設定。 &

問題描述 在測試spark on yarn時，發現一些記憶體配置上的問題，具體如下。 在$SPARK_HOME/conf/spark-env.sh中配置如下參數： SPARK_EXECUTOR_INSTANCES=4            在yarn叢集中啟動的executor進程數 SPARK_EXECUTOR_MEMORY=2G  

調節executor堆外記憶體 spark底層shuffle的傳輸方式是使用netty傳輸，netty在進行網路傳輸的過程會申請堆外記憶體，所以使用了堆外記憶體。 什麼時候需要調節Executor的堆外記憶體大小。 當出現一下異常時： shuffle file cannot find，executor lost、task lost，out of memory 出現這種問題的現象大致有這麼兩種情況：

本文主要介紹spark standalone模式的作業遷移到spark on yarn上的一些操作。 1、代碼重新編譯 因為之前spark standalone項目使用的是spark 1.5.2版本，而現在的spark on yarn 使用的是spark 2.0.1，所以先需要對原來代碼重新編譯，建議使用maven構建項目，根據需要使用下面提供的pom.xml檔案即可自動下載當前部署版本所需的jar包。 <dependencies>

executor堆外記憶體 有時候，如果你的spark作業處理的資料量特別特別大，幾億資料量；然後spark作業一運行，時不時的報錯，shuffle file cannot find，executor、task lost，out of memory（記憶體溢出）；

汽車之家資料平台架構互連網企業資料倉儲構建是採用自下而上的方式，還是自上而下的方式。如果你是一個資料部門的架構師，你怎樣去規劃資料倉儲呢。2015年中國資料庫技術大會上，來自汽車之家使用者智能組的高紅鋒為我們介紹了汽車之家平台架構。包括如何?資料價值，資料價值的保障，實現資料價值的必經之路等。詳細解讀 和小夥伴們一起來吐槽

Dubbo 是一個開源分布式服務架構，致力於提供高效能和透明化的 RPC 遠程服務調用方案以及 SOA 服務治理方案。Dubbo 採用全 Spring 配置方式，透明化接入應用，對應用沒有任何 API 侵入，只需用 Spring 載入 Dubbo 的配置即可，Dubbo 基於 Spring 的 Schema 擴充進行載入。Dubbo 推薦的註冊中心是 ZooKeeper。 調用關係說明： 1、服務容器負責啟動、載入、運行服務提供者，服務提供者在啟動時向註冊中心註冊自己提供的服務；

TiD 2018 品質競爭力大會演講徵集，特邀您來演講   品質競爭力大會，英文名稱TiD，定位是中國研發創新頂級盛會，是品質競爭力計劃(Q計劃)的重要組成部分，由智聯聯盟於2014年重磅推出。 TiD秉承追求行業高度（Top）、技術創新（innovation）、專業深度（Depth）三大理念，大會內容涉及軟體研發全層次、全流程及全形色。 TiD 2018將以“下一代軟體研發： 創與守

   在2B企業服務、雲端運算、移動互連網領域，專業的雲平台服務裡，分布式技術為支撐平台正常運作關鍵性技術。從商業利潤和營運成本角度出發，千方百計榨乾伺服器的每一分效能很大程度上影響著網站的商業價值，因此對效能的追求，成為分布式架構體系中極為重要的考量指標；從使用者角度，特別是作為主要收入來源的企業使用者的角度出發，保證業務處理的正確性和服務不中斷（高可用性）是支撐使用者信心的重要來源。高效能，高可用，正確性成為分布式架構體系的關鍵技術因素。

陳大衛，李建玲 著 電子工業出版社 書的內容多少有些問題，比如代碼解決的一般（注釋），但代碼量不少。 比如介紹的軟體使用的內容不多。不夠細。邏輯差了點。等 但就測試內容來說，還是本不錯的書。 一，遊戲測試 特點 三個層次 常規 參數調節 遊戲性測試 自動化測試的可行性 二，軟體測試載入器運用

       Web是由網頁設計和製作發展而來，隨著工作的細化，從美工製圖到網頁製作，從而出現了WEB前端開發這個詞，web前端開發主要是使用 HTML、CSS、JavaScript技術，將美工提供的psd檔案轉化為html頁面。同時，需要考慮SEO以及背景資料。WEB前端，相當於是串連美工、後台 以及使用者之間的橋樑。       Web標準不是某一個標準，而是一系列標準的集合。  

web標準簡單來說可以分為結構、表現和行為。其中結構主要是有HTML標籤組成。或許通俗點說，在頁面body裡面我們寫入的標籤都是為了頁面的結構。表現即指css樣式表，通過css可以是頁面的結構標籤更具美感。行為是指頁面和使用者具有一定的互動，同時頁面結構或者表現發生變化，主要是有js組成。 web標準一般是將該三部分獨立分開，使其更具有模組化。但一般產生行為時，就會有結構或者表現的變化，也使這三者的界限並不那麼清晰。

此篇內容是招聘常見的需要應聘者所知道的三方面 ①：W3C標準分為： 1.結構標準->: xml(可延伸標記語言 (XML))、html/xhtml(超文字標記語言 (HTML)) 2.表現標準->: 層疊樣式表 css 3.行為標準->:DOM（文件物件模型）、ECMAScript ②：Web語言化：使用語義恰當的標籤，使頁面有良好的結構，頁面元素有含義、能夠讓人和搜素引擎容易理解(提高SEO友好) ③：瀏覽器差異和相容性 CSS方面-> 1.

開發Websphere的應用程式時，常常需要啟停伺服器，但啟停程式隱藏路徑太深，每次使用都要找半天。這裡給出windows下啟停伺服器的幾個捷徑，將捷徑放到菜單上，可以方便的使用。使用命令列啟動比在圖形化使用者介面下的啟動要直接，速度快。 將檔案內容存入到對應的檔案，然後建立這三個檔案的捷徑，再把捷徑拖到WINDOWS底邊快捷啟動上，就可以了。使用時只需要用滑鼠點兩次就可以完成啟停操作。 啟動伺服器，檔案startServer.bat

http://www.ibm.com/developerworks/cn/websphere/techjournal/0505_wang/0505_wang.html 什麼是概要檔案。 WebSphere Application Server V6 引進了概要檔案概念，目的是將產品二進位檔案（binaries）與使用者資料物理分離，並使使用者能定義多組使用者資料。 在 WebSphere Application Server 第 6

人工智慧60年：介紹深度學習的一本好書       簡單說來，人工智慧發展60年歷史可分為三個階段：邏輯推理、知識系統與機器學習。現在，我們進入了機器學習的階段。什麼是機器學習(ML)呢。機器學習是不是一門學科。為什麼。       歸根到底一句話：機器學習(即當代的人工智慧)是不是一門科學。近來，一些企業老闆出來忽悠社會公眾與政府官員，目的無非是為了“搞錢”。我認為，紀念人工智慧誕辰60

這是2016年10月29日，高文院士在“泰山學術論壇–智慧礦山資訊技術專題”會議上做的報告。有幸聆聽，受益匪淺。現在將主要內容整理如下： 報告人簡介：高文，北京大學教授，博士生導師，中國工程院院士（55歲當選）。第十屆全國政協委員，現任數位媒體研究所所長、系統晶片研究所所長。2013年3月，任第七屆國家自然科學基金委員會副主任。2013年當選美國電腦學會會士（ACM Fellow）。現任北京大學資訊與工程科學部主任。 1 關於人工智慧 人工智慧的三大派別：

WiFi探針在商用領域可以大放異彩，不僅是因為它能夠提供相關的有效客流資料，同時它可以開啟系統之間、資料之間的壁壘，通過解決相應的技術難題，將顧客的MAC地址與企業的CRM系統、收銀系統進行對接，資料間的配合找出顧客的資訊，實現真正的線下的精準營銷。 假如客戶進店你第一時間就能擷取客戶資訊，這樣的系統能給你帶來多大的價值呢。 假如客戶路過你的店門口就能收到你們店鋪的優惠資訊，這樣的系統能給你帶來多大的價值呢。

每每以為攀得眾山小，可、每每又切實來到起點，大牛們，緩緩腳步來俺筆記葩分享一下吧，please~ ——————————————————————————— 本筆記來源於CDA-DSC-L2R的課程。主要探討精準營銷的解決方案、營銷組合的評估。 ———————————————————————————————————————————— 一、精準營銷實際問題 充分利用各種技術手段，將營銷資訊推送到比較準確的受眾群體中，從而既節省營銷成本，又能起到最大化的營銷效果。

最後也是最關鍵的，就是在fpga上搭建出卷積神經網路的結構。 我使用的fpga是xilinx的xc6slx45，以下是最後的資源使用方式 其中設計最重要的就是解決二維卷積的問題，我採用了shift ram ip核 但是使用會遇到一個問題：需要剔除一些無效資料。 具體如下： 同時，這種結構也可以用在maxpooling上。 啟用函數使用RELU，在verilog中只需要一行代碼就能搞定