多媒體資訊檢索研究報告<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />
1、 引言
互連網已經在全世界範圍發展開來,隨著海量資訊的湧入,想要在互連網上找到自己想要的東西已經越來越來困難,為了滿足人們的這一需求,很多公司推出了自己的基於互連網的搜尋服務,比如Google,Yahoo,百渡,3721等搜尋引擎,這很大程度上給人們擷取資訊提供便利。但這還不能完全解決問題,因為現在幾乎所有的搜尋引擎提供的功能只是基於普通文本的搜尋,對各種格式的文檔、試算表的搜尋就很少了,而對多媒體資訊的檢索就幾乎沒有了。因此現在迫切需要一種手段用來檢索龐大的多媒體資訊。
2、 多媒體
作為資訊傳遞、娛樂等多種用途,多媒體已經發展的比較龐大和完善了。現在的多媒體資訊主要分為3大類:視頻、音頻和映像。而每一大類又分很多小類,比如視頻就包括很多格式的視頻資訊:RealMedia、DivX等,映像也分為jpg、gif等多種映像。並且這些大類也就交叉的的地方,有些對媒體既包含視頻資訊又包含音頻資訊,甚至還包含映像資訊。因為多媒體的種類如此之多,要針對所有的多媒體資訊檢索的難度也就大大增加,這也就是我們研究的方向。
3、 多媒體資訊檢索借口的研究
多媒體資訊的檢索主要是針對多媒體資訊內容的檢索,比如音頻內容、映像內容等。因為不同的對媒體有一定的差異,所以分類研究檢索借口。現在假定所有的多媒體資訊已經具備,也就是不需要專門去搜尋那些多媒體資訊。
a) 視頻。大家平常見到的各種視頻悉資訊有各種電影檔案,比如各種rmvb、asf、mpeg、avi等。對這些視頻檢索的方式多種多樣,比如可以用影片的名字來檢索,用影片裡面任務說的話來檢索,用影片裡面的各個特定的鏡頭檢索,甚至用一連串的鏡頭片斷檢索和用一段故事情節去檢索。當然還可以用聲音來檢索,但這屬於音頻檢索的範圍了。
b) 音頻。音頻包含各種音樂檔案,比如mp3、wav等,甚至大部分視頻檔案也包含音頻。如果有的話,可以用歌詞名、歌手名、歌曲名去檢索。還可以用音樂檢索,比如隨便哼一段曲調,然後就可以用這段曲調去檢索。也可以用聲音的強弱變化、聲音所表達出來的一個感情氣氛等檢索。
c) 映像。現在的影像檔已經是多種多樣,它能表達的資訊也豐富多彩。可以用映像本身的特徵去檢索,比如用映像的紋理、顏色、明暗度去檢索。也可以用簡略圖來檢索,比如給出一幅草圖,就能搜尋出於折服草圖相似的圖片來。還可以用映像所表達的資訊去檢索,比如用“男人”這個詞就能搜尋到所有男人的圖片,用“喬丹”這個詞就可以找出有喬丹的圖片。
4、 資訊檢索功能實現的研究
多媒體不同於普通文本,它表達的內容的複雜度、抽象度要遠遠高於普通文本,因此對它檢索的難度也就遠遠大於普通文本。有人提出:可以先對不同的多媒體資訊進行人工處理,在需要的地方加上注釋,檢索資訊的時候只需要檢索注釋就可以了,這在少量資訊的情況下可行,如果資訊迅速增多,那麼注釋多媒體資訊所花費的人力物力是不可接受的。也有人提出:可以先把各種對媒體資訊轉換成普通文本,然後建立索引結構,可以針對索引查詢,這個方案可以重分利用現有的文本搜尋技術,但是怎樣把多媒體資訊轉換成普通文本是一大難題。還有一種就是重新制定對媒體資訊的格式標準,使這個格式既能夠有充分表達力又要具有方便被查詢,這也是一個研究方向,主要問題是這種語式正確制定。
5、 小結
隨著多媒體技術的發展,可能多媒體的種類會越來越多,也許並不止上面說的那些,但是總的方嚮應該不會相差太遠。現在面臨的主要問題就是有想法,但是沒有技術能力去實現。