其他

這個是一同學的問題：BeautifulSoup已經安裝，但是在運行指令碼的時候仍然提示No module namedBeautifulSoup，請教下是什麼原因？另外在先運行下python，然後單獨運行from BeautifulSoup importBeautifulSoup，缺不會提示任何錯誤。這裡是沒有沒有進入python的命令列而直接匯入BeautifulSoup.所以會提示這個錯誤。解決方案有2個：1 進入python命令列，然後匯入BeautifulSoup模組。2

傳說有一種小鳥，叫寒號鳥。這種鳥與眾鳥不同，它長著四隻腳，兩隻光禿禿的肉翅膀，不會像一般的鳥那樣飛行。 　　夏天的時候，寒號鳥全身長滿了絢麗的羽毛，樣子十分美麗。寒號鳥驕傲得不得了，覺得自己是天底下最漂亮的鳥了，連鳳凰也不能同自己相比。於是它整天搖晃著羽毛，到處走來走去，還洋洋得意地唱著：“鳳凰不如我！鳳凰不如我！” 　　夏天過去了，秋天到來，鳥們都各自忙開了，它們有的開始結伴飛到南邊，準備在那裡度過溫暖的冬天；有的留下來，就整天辛勤忙碌，積聚食物啦，修理窩巢啦，做好過冬的準備工作。只有寒號鳥，

作者:finallyliuyu（一）中我們已經說明了任務需求。（二）中我們將駛入重點，如何用Lucene.Net，以及其他的一些開源工具實現上述功能。      裡要首先感謝一個人智慧掩蓋真相。此人寫了一個系列對於Lucene.net內部機制的入門性質的文章，令我在短時間內掌握了Lucene.net的一些要領。   

08-17 19:26  特徵詞選擇演算法對文本分類準確率的影響（二）特徵詞選擇演算法對文本分類準確率的影響（一）本節的題目是：是不是特徵詞的數目越高？VSM模型的特徵維數越高，分類的準確率越高呢？很多人會想當然地認為應該是VSM模型的維數越高，也即所選的特徵詞數目越多，分類準確率越高。但答案是否定的。我們看下面的這張圖就知道了。從上面的圖片我們可以看到當文檔集規模》2000時（red line,green line cyan line），（我實驗的文檔規模分別為200,1000,2000,30

（轉載請註明出處，作者:finallyliuyu） 前言：經瞭解，園子裡有很多已經工作，但是對資訊檢索和自然語言處理感興趣的同仁，也有很多相關領域的從業者。目前本人正在從事文本特徵選取方面的研究。所以打算寫一系列有關此方向的科普型部落格，和大家分享見解。也希望在演算法的理解方面和業內人士多多交流。此系列的計劃是介紹各種特徵詞選擇方法，參考自Yiming Yang 1997年的論文"A comparative Study on Feature Selection in

    實驗架構圖見libsvm文本分類:二分類（二） 實驗架構圖 下面是主模組代碼，暫不公布全部代碼代碼 Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--># -*- coding: cp936 -*-#coding gb2312from SVM import FoldersCreationimport os#####################

者:finallyliuyu 具體實現如下：1。首先在SnowballAnalyzer.cs裡面建立類myEwordEntity，這個類可以看做是snowball.cs的介面：主程式調用Snowball.cs最終目的是為了獲得關於詞的這樣一個“實體”//詞彙的實體類public class myEwordEntity    {        public string txtWord;//詞的文本        public string stemroot;//被過濾後詞的詞根       

本小節，我們僅考慮一種特徵詞選擇架構IG（infomation Gain）。採用兩種機率建模第一種我們稱之為經典的機率建模。也就是被公認採納的那一種。也就是說該種方法認為 每個類別的機率可以根據訓練語料中兩個類別的文章數目來估計，由於我的實驗中兩類數目相等所以各為二分之一。文章是串連詞語與類別的橋樑。因此在計算 TF（t,C）的時候，有可以根據文檔是由多變數伯努利分布產生（一），還是多項式分布產生（二）。有兩種機率計算方式。在（一）的情況下，僅考慮一個詞在文章中是否出現，出現則為1,否則則為0。

作者:finallyliuyu在這個項目中，由於進行聚類的是論文摘要，而論文摘要中最重要的是名詞，名詞片語，已經形容詞和形容詞片語。所以特徵詞選擇方法採用詞性過濾加上其他策略。下面給出個圖片，圖片中是一個“評價論文推薦滿意度”的程式。作為上面組合組件的一個應用來展示給大家。其中左邊是原論文，右面是系統推薦的論文。原論文與推薦論文中相同的功能詞（名詞或形容詞及其片語）用同一種顏色高亮顯示。大家也來評評聚類準確度吧感謝任課老師朱廷劭 教授在課程中的悉心指導。

7 Habits of Highly Ineffective PeopleBy Henrik EdbergWith a twist to the common list of habits that are useful to establish, here are 7 habits that you do best to avoid.Just like finding habits that can be useful for you it’s important to find

原文地址：http://c.chinaitlab.com/basic/747981.html1）在實際的程式中，引用主要被用做函數的形式參數--通常將類對象傳遞給一個函數.引用必須初始化. 但是用對象的地址初始化引用是錯誤的，我們可以定義一個指標引用.int ival = 1092;int &re = ival;   //okint &re2 = &ival;   //錯誤int *pi = &ival;int *&pi2 = pi;   //ok （2）

上一節（也就是在四中）我們談了在經典機率架構下，採用兩種方法估算p(t|ci)，得出的結論是這兩種方法對最後準確率沒有顯著影響。下面我們在給出一個菜鳥的naiva機率架構。該架構用機率歸一化詞袋子中所有詞在訓練文檔集中出現的情況。即p(t)由詞袋子模型中的統計資訊直接歸一化計算，並假設P(C1)=P(c2)=1/2 P(C|t)也直接計算。比如詞袋子中有三個詞 {[家務： class1:(1,3)(2,1) class2:(4,1)][俄羅斯： class2:(2,3),(4,1),(5,1)]

轉載請註明出處，作者:finallyliuyu） 前言：經瞭解，園子裡有很多已經工作，但是對資訊檢索和自然語言處理感興趣的同仁，也有很多相關領域的從業者。目前本人正在從事文本特徵選取方面的研究。所以打算寫一系列有關此方向的科普型部落格，和大家分享見解。也希望在演算法的理解方面和業內人士多多交流。此系列的計劃是介紹各種特徵詞選擇方法，參考自Yiming Yang 1997年的論文"A comparative Study on Feature Selection in

目前參與到了實驗室的某一個項目中的子需求中。這個子需求可以歸結為一個文本分類問題，但是對文本分類精度的要求非常高。所有考慮做如下工作：1。

聲明： 按類別特徵詞選擇演算法聲明 Code highlighting produced by Actipro CodeHighlighter

fabric的安裝可以選擇用python的pip安裝或者easy_install來安裝。在xubuntu下，我這裡用的是sudo apt-get install fabric來安裝安裝完以後我們進入控制台，然後improt fabric匯入下模組，如果沒報錯，說明安裝模組成功。如果你是2.5的話，那需要寫個聲明：from __future__ import with_statement2.6+的就不需要了。下面示範一個最簡單的程式。#!/usr/bin/pythonfrom

特徵詞選擇演算法對文本分類準確率的影響（一）本文主要介紹下本實驗的前提準備，已經籌劃工作。1。文檔向量空間模型（VSM）的建立：採用TF模式2。分類工具採用Chih-Jen Lin'sLibsvm3。語料庫來源於搜狗開源語料庫中的C00024（軍事），C00013（健康）4。目前特徵詞選擇演算法為InfomationGain.5.詞袋子模型格式（部分）：（文章標號，出現次數） 6。 IG表（部分）

上節我們已經把fabric給配置好了。這節我們通過fabric編寫批量執行伺服器任務和自動化營運管理。先介紹下fabric的特點，這個在官方文檔裡面已經介紹過:1 代碼可讀性強，完全是python語言。2 封裝了本地、遠程操，內建了一些方法。3 可以根據需求靈活的定義參數。4 角色定義，方便批量管理。常用的配置參數：env.host           -- 主機ip，當然也可以-H參數指定env.password       -- 密碼，打好通道的請無視env.roledefs       -

這幾本書關注的都是這幾年比較火的話題，相信銷量會不錯。一些小眾的書籍就不推薦了，呵呵。這些都是08,09年springer出的，現在應該還沒有授權，不過先聯絡好等兩年就可以出了吧。 1. The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition http://www.amazon.com/Elements-Statistical-Learning-Prediction-

（註：博文轉載請註明作者和出處 作者：finallyliuyu 出處 部落格園）將實驗資料公布出來，目的在於可以方便有相同愛好者的網友，直接下載中間資料快速重現實驗。資源空間提供方：download.csdn.net統計詞典以及關聯表資料結構每個資料包中共有四個檔案:keywords.dat,testVSM.dat,trainingVSM.dat,evaluation.txt （.dat檔案需要用ultraedit來查看）全域DF法選取2000個關鍵詞IG法選取2000個關鍵詞卡方法選取2000