其他

我們的工作中經常遇到如何求兩個句子的相似，比如如何判斷搜尋query和廣告query的相似，搜尋query和app的相似，再比如短文本相似的問答系統等等。有什麼好的方法呢，這裡是個人的一點總結吧。 目錄： 一、 先貼結果 二、 短文本相似常用的方法 三、主題模型的應用 四、 深度學習的模型搭建 （一）老樣子先貼結果吧，樣本是處理後的搜尋query和廣告點選query，準確率在95%左右 圖2的格式為標籤（相似為1，不相似為0）、 預測標籤、 某個值（大於0為預測標籤為1

from：http://blog.csdn.net/jia20003/article/details/13159535 Water Ripple Effect - 水波紋效果 一：原理 類比水波紋效果，最常見的是sine或者cosn的函數，周期性變化，貼近自然 當水波紋中中間開始向四周擴散的時候，一般都是慢慢的失去能量，振幅也是 越來越小，所以程式要類比這個過程時候，要加上一個能量遞減因子。然後用 公式 y = a*sine(bx + c)來表示波紋公式。

一個Executor對應一個JVM進程。 從Spark的角度看，Executor佔用的記憶體分為兩部分：ExecutorMemory和MemoryOverhead         一、ExecutorMemory ExecutorMemory為JVM進程的Java堆地區。大小通過屬性spark.executor.memory設定。也可以在spark-submit命令時用參數--executor-memory設定。 &

1 資料的預先處理 資料審核：檢查資料中是否有錯誤，主要從完整性和準確性兩個方面。對二手資料，則著重適用性和時效性。 資料篩選：根據需要找出符合特定條件的某類資料。 資料排序：按一定順序將資料排列 樞紐分析表 2 品質資料的整理與展示 對品質資料主要做分類整理，對數值型資料主要做分組整理。 1 分類資料的整理與展示 頻數與頻數分布 分類資料的圖示 橫條圖 帕累托圖：按各類別資料出現的頻數多少排序後繪製的橫條圖 餅圖 環形圖：餅圖的擴充，去掉中間的“洞” 2

1 時間序列與隨機過程 隨機變數序列 Y t :t=0,±1,±2,±3,...  稱為一個隨機過程，並以之作為觀測時間序列的模型。 2 均值、方差和共變數 對隨機過程 Y t :t=0,±1,±2,±3,...  ，均值函數定義如下： μ t =E(Y t ),t=0,±1,±2,...  即 μ t   恰是過程在

本文使用的資料集為ggplot2包內建的diamonds資料集，其包含了約54000顆鑽石的價格和品質的資訊。這組資料涵蓋了反映鑽石品質的四個“C”——克拉重量（carat）、切工（cut）、顏色（color）和淨度（clarity），以及五個物理指標——深度（depth）、鑽石寬度（table）、x、y、z。如下圖： 本文使用的另一個資料集是未經處理資料的一個容量為100的隨機樣本 set.seed(1410) #使樣本可重複

先言：R語言常用介面操作 協助：help(nnet) = ?nnet =??nnet 清除命令框中所有顯示內容：Ctrl+L 清除R空間中記憶體變數：rm(list=ls())、gc() 擷取或者設定當前工作目錄：getwd、setwd 儲存指定檔案或者從磁碟中讀取出來：save、load 讀入、讀出檔案：read.table、wirte.table、read.csv、write.csv 1、一些簡單的基本統計量

從網上搜尋到的Yahoo 財經API介面，基本可以取到世界各個市場的股票，指數，外匯等資料 但是測試下來好像日本國內資料沒有，不過調查之後發現可以使用其他方式擷取，擷取的方法會在隨後的博文再附上。 1.擷取即時資料 http://finance.yahoo.com/d/quotes.csv?s=股票名稱&f=資料列選項 s — 表示股票名稱，多個股票之間使用英文加號分隔，如“XOM+BBDb.TO+JNJ+MSFT”

最近接到了一些真實的資料，資料中包含著許多缺失值，如何對缺失值處理，能更好的為我們做資料分析，更高效率的建模，縮小在測試集上預測性分析的偏差，當然這個偏差越小我們肯定越高興的。 資料準備 我用的是一份地理樣本資料，裡面有座標，各種物質成分（Ca，N，P等） 對於缺失資料的檢驗，有多個方法。 第一種： library(VIM) aggr(env,prop=T,numbers=T) 函數用法，可以在控制台載入完包後help()或者?函數

說明 ks-Kolmogorov-Smirnow,這種檢測常被用來應用於比較樣本是否符合某個已知分布，而雙樣本的KS檢測兩個資料集累積分布的比較。 產生常態分佈樣本資料（單樣本） 檢測資料集X是否符合常態分佈,100個數x = rnorm(100)ks.test(x,"pnorm) One-sample Kolmogorov-Smirnov testdata: xD = 0.12261, p-value = 0.09889alternative hypothesis: two-

一、統計學基本原理 1 兩樣本t檢驗的條件：①兩總體都服從常態分佈；②兩總體方差相等，即方差齊性。 2 配對t檢驗的條件：差值的總體服從常態分佈即可。 二、使用R進行正態性檢驗和方差齊性檢驗 1 正態性檢驗 1.1 ①Shapiro-Wilk檢驗（W檢驗）：n≤50；②Shapiro-Francia檢驗（W’檢驗）：50＜n＜100. #R語言實現：W/W'檢驗，Sample size：3 < n < 5000

1、如何用R語言畫二元常態分佈的曲面圖形 下面主要用兩種技術來實現： 注意：z 的列維是 y 的長度，行維是 x 的長度（即 z 包含每一種可能的 (x, y) 點 的值）         第一種使用 persp(x, y, z)函數:下面看代碼 fn = function(x, y) { sigma <- matrix(c(20,0,0,20), c(2,2)) u <- c(0,0)

在資料分析中如果某個資料服從常態分佈的話，我們可以利用常態分佈的性質做出很多有意義的分析，例如t-檢驗。。 如何檢驗樣本是否服從常態分佈。 可以使用Q-Q圖來進行檢驗，Q-Q圖是一個散佈圖，點(x, y)表示資料x的某個分位元，y表示和x的分位元相同的分位元（即 FX(x)=FY(y) ），如果說兩個分布的QQ圖在一條直線上，則說明每個 [xi,xi+1]，[yi,yi+1] 區間所包含的資料在整個資料集中的比例相同，也就是說明如果對x或y進行放縮的話可以讓它們。

看兩者是否算相關要看兩方面：顯著水平以及相關係數

最近手頭下了一批資料，想要刪除其中的重複值，比如： > data.set    Ensembl.Gene.ID Gene.Biotype Chromosome.Name Gene.Start..bp. Gene.End..bp. 1  ENSG00000236666    antisense        

這一部分代碼需要留意的主要是如何構建隊列，並從中讀取資料的方法。 from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport osfrom six.moves import xrange # pylint: disable=redefined-builtinimport tensorflow as tf#

QQ-plot深入理解與實現 26 JUN June 26, 2013 最近在看關於CSI(Channel State Information)相關的論文，發現論文中用到了QQ-plot。Sigh。我承認我是第一次見到這個名詞，異常陌生。維基百科給出了如下定義：

昨天說到這個問題，想了一些思路，今天就把它實現了一下，也是收穫滿滿。 問題描述： 這一類的問題估計大家見過很多，大致是這樣的： 有n階台階，小明每次只能上1個或2個台階，問他有多少種方案走完n階台階。 解決方案： 1、 作為一個標準的程式員，我的第一反應就是：最後一次邁兩個台階or一個台階，那麼問題就表示為：f（n）=f（n-1）+f（n-2） 於是乎，一個遞迴程式就這麼出來了。 //遞迴實現，f(n)=f(n-1)+f(n-2),時間複雜度O(n*n)int

http://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/ 什麼是TF模型： 在訓練一個神經網路模型後，你會儲存這個模型未來使用或部署到產品中。所以，什麼是TF模型。TF模型基本包含網路設計或圖，與訓練得到的網路參數和變數。因此，TF模型具有兩個主要檔案： a)meta圖

說到CAD，我就想起曾經學習CAD的事兒。那個時候我還不認識CAD，而朋友是學室內設計的，需要完成CAD作業。當時我去找她玩，叫她在那裡畫CAD，頓時覺得很有趣，就問他怎麼搞的，然後就開啟了學習CAD的路程。 一、什麼是CAD CAD全稱AutoCAD，又稱為電腦輔助，是一款電腦繪圖軟體。可以輔助設計人員進行分析、比較和計算設計資訊資料，完成設計方案。 二、為什麼要將CAD轉換成PDF