網站運營

對於CoS和DSCP，只是分類的標準，可以自己設置信任哪個。 而且CoS和DSCP之間有映射，只是標識了包的優先順序的不同，根據包的優先順序選擇不同的出佇列，不同出佇列所占的頻寬資源，擁塞時丟棄比例不同。 從而實現服務品質的目標。 QoS 的實現以IETF 的DiffServ 體系為基礎。 DiffServ體系規定每一個傳輸報文將在網路中被分類到不同的類別，分類資訊被包含在了IP 報文頭中，DiffS...

很久沒有遇到過刪除Volume出錯使得Volume處於HTTP://www.aliyun.com/zixun/aggregation/16539.html">Error_Deleting狀態的情況了， 昨天刪除一個Volume時又出現了這個問題，這裡順便把解決方法記錄一下。 注意我這裡針對的是後端採用iscsi方式的，具體到我這裡是tgt+lvm方式。 原因 目前我所遇到的刪除V...

Hortonworks日前發佈了下一代Apache Hadoop的預覽發佈版。 Apache Hadoop承諾會擴大能夠在資料處理平臺上實施分析的種類範圍。 　　新的Apache YARN調度程式通過提供一個更通用的資源管理框架取代了MapReduce 　　Hortonworks創始人、開發Hadoop的核心工程師之一Arun Murthy稱：「Hadoop 2.0是一個基本的架構改變， ...

海量資料(「Big Data」)是指那些足夠大的資料，以至於無法再使用傳統的方法進行處理。 在過去，一直是Web搜尋引擎的建立者們首當其衝的面對這個問題。 而今天，各種社交網路，移動應用以及各種感應器和科學領域每天創建著上PB的資料。 為了應對這種大規模資料處理的挑戰，google創造了MapReduce。 Google的工作以及yahoo創建的Hadoop孵化出一個完整...

&HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 對電信企業而言，資料庫安全至關重要。 試想充值系統出了問題會怎樣?手機使用者在月末查詢帳單的時候系統出現問題會怎樣?下面是某電信企業資料庫運維人員在資料庫安全方面的一些心得，以及啟明星辰資料庫安全專家給出的建議，希望能對大家有所啟迪和借鑒。 一、資料庫版本...

視覺化是最熱的雲應用領域之一。 雲集無數大牛，小專和創新企業代表。 本篇來自Pat Hanrahan和Jeffrey Heer兩位視覺化「大師」所率領的斯坦福視覺化組的一篇論文，重點分享了圖像的主題色提取演算法。 　　浙江大學CAD&CG國家重點實驗室視覺化與可視分析小組特別將論文進行了整理，以下為文章摘要。 　　斯坦福視覺化組非常有必要介紹一下，領頭的兩個大牛一個是Pat Hanra...

Linux是個缺愛的孩子，OS X和Windows系統總在那裡搖曳生輝，但是開源自由的Linux卻在角落默默地支援著那些不尋常的東西。 Linux基金會執行董事告訴我們「你每天都用著Linux，但你根本不知道它時時刻刻都存在於你的生活中 。 「手機、證券所、高鐵、交通管制、銀行、核潛艇、汽車......」 這個差點被遺忘的系統遠遠比你看到的要重要。 1. HTTP://www.aliyun.com/zix...

檔案壓縮主要有兩個好處，一是減少了存儲檔所占空間，另一個就是為數據傳輸提速。 在hadoop大資料的背景下，這兩點尤為重要，那麼我現在就先來瞭解下hadoop中的檔案壓縮。 hadoop裡支援很多種壓縮格式，我們看一個表格： DEFLATE是同時使用了LZ77演算法與哈夫曼編碼（Huffman HTTP://www.aliyun.com/zixun/aggregation/1552.html...

來自南加州大學和Facebook的7名作者共同完成了論文《 XORing Elephants: Novel Erasure Code for Big Data》。 論文作者開發了Erasure Code家族的新成員——Locally Repairable Codes（即本機複本存儲，以下簡稱LRC，它基於XOR。 ），明顯減少修復資料時的I/O和網路流量。 他們將這些編碼應用在新的Hadoop...

按照其最純粹的形式，交換架構是一個網路拓撲，在這個拓撲中，節點通過部署了多個有效連結的交換器來互相連接。 這與傳統乙太網等廣播介質相反，傳統介質只有一條有效路徑，但HTTP://www.aliyun.com/zixun/aggregation/14477.html">IEEE和IETF等標準機構正在改善乙太網， 加入多個有效路徑以及鏈路狀態路由式通訊協定來取代生成樹，從而推動資料中...

1、twemproxy explore &HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp;     當11545.html">我們有大量 Redis 或 Memcached 的時候，通常只能通過用戶端的一些資料分配演算法（比如一致性雜湊），來實現集群存儲的特性...

Hadoop並行處理可以成倍地提高性能，GPU也日益成為計算任務的重要分擔者，Altoros Systems研發團隊一直致力於探索Hadoop+GPU的可能性，以及在實際的大規模系統中的實現，這篇文章就是他們的部分研究成果。 　　Hadoop並行處理可以成倍地提高性能。 現在的問題是如果將一部分計算工作從CPU遷移到GPU會怎麼樣？ 能否更快理論上，這些處理如果經過了平行計算的優化，在GPU...

HTTP://www.aliyun.com/zixun/aggregation/13361.html">Citrix今天在其官網上公佈了這一消息，同時發佈的還有17802.html"> 開發者社區XenServer.org，通過此次開源Citrix打造了從IaaS層CloudStack、Hypervisor層和虛擬化層垂直開源系統。 　　由於KVM在開源虛擬...

最近在寫wormhole的HBase plugin，需要分別實現hbase reader和hbase writer，在測試的時候會報錯如下：  2013-07-08 09:30:02,568 [pool-2-thread-1] org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.pr...

LinkedIn是HTTP://www.aliyun.com/zixun/aggregation/31877.html">全球最大的職業社交網站，從2002年12月創立到2013年初， LinkedIn註冊使用者已到2億，平均每秒增加一個新使用者，86%的「財富100強企業」正在使用LinkedIn的付費解決方案，270萬個公司主頁在此安家落戶，使用者每年發起超過幾十億次搜索。 為了應...

codec其實就是coder和decoder兩個單詞的詞頭組成的縮略詞。 CompressionHTTP://www.aliyun.com/zixun/aggregation/29788.html">Codec定義了壓縮和解壓介面， 我們這裡講的codec就是實現了CompressionCodec介面的一些壓縮格式的類，下面是這些類的清單：  使用Compression...

2013年的Hadoop峰會上，YARN是一個熱點話題，YARN本質上是Hadoop的新作業系統，突破了MapReduce框架的性能瓶頸。 Murthy認為Hadoop和YARN的組合是企業大資料平臺致勝的關鍵。 　　Yahoo!最初開發Hadoop，是為了用於搜索和索引Web網頁，目前很多的搜索服務都是基於這個框架的，但是Hadoop從本質上來說還只是一個解決方案。 2013年的Hadoo...

來自南安普敦大學的科學家最近演示了5D鐳射儲存技術，對比現有的儲存介質，新技術有著空前的優勢：儲容量可達360TB，耐熱溫度可達1000攝氏度，以及高於百萬年的生命週期。 　　使用納米結構玻璃，南安普敦大學科學家首次實驗演示了5D飛秒級的資料鐳射讀寫。 該技術讓存儲媒介的多項參數達到不可思議的程度，其中存儲容量可達360TB，耐熱溫度可達1000攝氏度，還有那無限制的使用壽命。 　　該存...

對於canopy的輸入資料需要的形式為序列檔，同時保證key：Text、HTTP://www.aliyun.com/zixun/aggregation/9541.html"> value：VectorWritable。 昨晚準備打算使用單純的java程式搞定輸入資料的準備，無奈老是會出點問題，昨晚的問題「找不到檔」暫時還沒找到原因。   其實如果只是要獲得輸入資料那...

在上周召開的思科Live會議上，思科公司主席兼HTTP://www.aliyun.com/zixun/aggregation/32086.html">首席執行官John Chambers表示， 在解決席捲行業的軟體定義網路(SDN)趨勢上，思科花了太長的時間。 　　一年前，思科推出了針對SDN的思科ONE可程式設計網路計畫，思科應該更早些推出其SDN產品，以免看起來像是思科在跟...