其他

Cerber是一個可執行程式，它的感染後行為沒有CryptXXX這麼隱蔽，可以說分析它的行為並不困難，但是它對內部資料的保護比CryptXXX做的好。例如: 我可以寫一個簡單反向演算法就可以將CryptXXX中的所有加密資料提取出來，但是對於Cerber它顯然在對內部資料的保護上下足了功夫，但這並沒有阻擋我提取出它所有的內部資料。下面會詳細的分析它如何保護內部資料的邏輯。

前段時間看了一些關於LSTM方面的論文，一直準備記錄一下學習過程的，因為其他事兒，一直拖到了現在，記憶又快模糊了。現在趕緊補上，本文的組織安排是這樣的：先介紹rnn的BPTT所存在的問題，然後介紹最初的LSTM結構，在介紹加了遺忘控制門的，然後是加了peephole connections結構的LSTM，都是按照真實提出的時間順序來寫的。本文相當於把各個論文核心部分簡要彙集一下而做的筆記，已提供快速的瞭解。 一.rnn結構的BPTT學習演算法存在的問題

一、介紹 找到一種適應真實情況（很大的狀態空間）的RL方法，之前的價值函數表示是通過一個S×A的表（Table）來表示Q(s,a)。狀態空間很大時，這種表示記憶體佔用過大，而且單獨學習每個state的價值函數太慢了。而且在遇到沒有見過的狀態時，表現會很差（缺少泛化能力）。 二、價值函數逼近-Incremental Online

一、介紹 之前的控制方法都是Value-based，而在確定價值函數之後，其實我們是在價值函數的基礎上確定了某種策略（貪婪，ϵϵ-貪婪）找到action。那麼我們為什麼不直接通過策略函數控制action呢。 這樣做的好處： 連續的動作空間（或者高維空間）中更加高效； 可以實現隨機化的策略； 某種情況下，價值函數可能比較難以計算，而策略函數較容易。 二、Finite Difference Policy Gradient

一、一些概念 馬爾科夫性質：當前時刻狀態僅僅與前一個時刻相關。 狀態轉移矩陣，表明了任意狀態a到狀態b的條件機率。 馬爾科夫過程（馬爾科夫鏈）：一個具有馬爾科夫性質的無記憶的隨機過程，包含n個狀態。 馬爾科夫激勵過程(S,P,R,γ)是一個帶有value的馬爾科夫鏈。

一、介紹 無論是價值迭代還是策略迭代，都是在已經知道MDP模型（也就是動態轉移矩陣P和獎勵R）的前提下用DP的方式進行控制。那麼如果對模型的這些屬性並不瞭解，要如何進行預測和控制呢。 本節主要講幾種方法來進行無模型前提下的策略評估（model-free policy evaluation）。 二、Monte-Carlo RL方法 Episodic MDP: 所有的行為序列都在有限步終止。 MC方法從已有的完整經驗片段（complete episode

一、一些概念 MDP的兩個規劃問題： 預測，給定MDP和策略π，求出價值函數vπvπ 控制，給定MDP，求出最佳價值函數v∗v∗和最佳策略π∗π∗ Policy Evaluation策略評估： 給定一個策略，從v0v0,v1v1一直求到vπvπ,第k步求出的狀態價值函數，通過Bellman期望方程可以求出k+1步的狀態價值函數。這樣一直迭代下去，最終狀態價值函數會收斂，完成對策略π的評估。 Policy Iteration策略迭代： 1

一、介紹 這一講的內容是大部分情況下真實使用的演算法，也就是在對環境一無所知的情況下，去學習出一個好的策略。首先介紹一些概念： Model-Free Control，在環境未知的前提下，如何學習策略（價值）以獲得最大的獎勵。 On-Policy和Off-Policy，兩種控制的類型，前一種是策略已知，後一種是策略未知。後者允許你使用其他人的experience sequence來學習，而前者只能在知道自己策略的前提下學習。如果計算target的時候使用的是get

今天我很榮幸有機會在這裡，跟大家分享增強學習（Reinforcement Learning，RL）這個話題。這次分享，我希望能達到三方面的目的： 第一，希望沒有相關背景的同學能夠對RL有一定的瞭解，所以我會介紹一些基礎的概念。 第二，希望對有機器學習演算法背景的同學，如果對增強學習感興趣的話，能瞭解到RL近期的一些進展。 第三，對我而言也是對於相關知識的整理。 這次分享主要包括以下三個環節： 關於增強學習的一些基本概念； Deep Q

In this post we discuss some of the existing technologies for scraping, parsing and analyzing web pages. We also talk about some of the challenges software engineers might face while scraping dynamic web pages. Scraping/Parsing/Mining Web Pages

Tensorflow is one of the widely used libraries for implementing Machine learning and other algorithms involving large number of mathematical operations. Tensorflow was developed by Google and it’s one of the most popular Machine Learning libraries

1.問題描述 瑪雅曆 Time Limit: 1000MS   Memory Limit: 10000K Total Submissions: 80876   Accepted: 24862 Description 上周末，M.A. Ya教授對古老的瑪雅有了一個重大發現。

上一次大家對語音技術有這麼濃厚的興趣還是在幾年前，關注的對象是手機上的語音助手，如 Siri、Google Now 等。一開始大家對這種語音對話的形式感到很有趣，但嘗試一段時間後發現，除了讓它講個笑話以及偶爾調戲一下逗逗樂子以外，再也想不到要喚醒它幹嘛。終於，大多數人都漸漸遺忘了這個停留在角落裡的虛擬語音助手。 這一次，一個新的帶有語音互動功能的產品再一次引起了人們的注意，並在實際體驗兩年之後仍然興趣不減、好評不斷，這款產品就是 Amazon

Why Study Reinforcement Learning Reinforcement Learning is one of the fields I’m most excited about. Over the past few years amazing results like learning to play Atari Games from raw pixelsand Mastering the Game of Go have gotten

Why Study Reinforcement Learning Reinforcement Learning is one of the fields I’m most excited about. Over the past few years amazing results like learning to play Atari Games from raw pixelsand Mastering the Game of Go have gotten

一、PyTorch介紹 1、說明 PyTorch 是 Torch 在 Python 上的衍生（Torch 是一個使用 Lua 語言的神經網路程式庫） 和tensorflow比較 PyTorch建立的神經網路是動態 Tensorflow是建立靜態圖 Tensorflow 的高度工業化, 它的底層代碼是很難看懂的.

學習筆記來自斯坦福公開課的自然語言處理（https://class.coursera.org/nlp/），以其中講義為主，加入自己的學習理解，以加深學習印象。 內容提綱： 1. N-GRAM介紹 2. 參數估計 3. 語言模型的評價 4. 資料稀疏問題 5. 平滑方法 N-GRAM介紹

Setting up a fully functional ChromiumOS development environment on actual Chromebook hardware Set up environment export DEV_DIR="/opt"mkdir -p $DEV_DIRexport CHROMIUM_DIR="$DEV_DIR/chromiumos"mkdir -p

The ipython notebook with the complete code and dataset is available at the following link. In this tutorial, we will apply denoising autoencoder on market basket data for collaborative filtering. The learned model then will be able to

今日目標 瞭解 Denoising Autoencoder 訓練 Denoising Autoencoder 測試不同輸入情形下的 Denoising Autoencoder 表現 Github Ipython Notebook 好讀完整版 Introduction 什麼是 denoising 呢。意思就是把去除雜訊的意思，也就是說這裡的 autoencoder