其他

文章目錄 硬體錯誤 流式資料訪問 大規模資料集 簡單的一致性模型 “移動計算比移動資料更划算” 異構軟硬體平台間的可移植性 副本存放: 最最開始的一步 副本選擇 安全模式 磁碟資料錯誤，心跳檢測和重新複製 叢集均衡 資料完整性 中繼資料磁碟錯誤 快照 資料區塊 Staging 流水線複製 DFSShell DFSAdmin 瀏覽器介面 檔案的刪除和恢複 減少副本係數 引言

Thrift是Apache的一個開源項目，用來實現不同語言之間的通訊，要使用程式設計語言操作cassandra，就需要Thrift。可惜的是Ubuntu還不能使用apt-get安裝Thrift，因此需要手工編譯編譯環境：Ubuntu 8.10 (8.04的libtool包不能用)首先安裝必要的包sudo apt-get install build-essentialsudo apt-get install bison flex sudo apt-get install libboost-dev

 附加一個新的資料庫，報如下異常： An exception occurred while executing a Transact-SQL statement or batch. (Microsoft.SqlServer.ConnectionInfo)------------------------------Unable to open the physical file "E:\資料庫\DB Document\My DB\TestDB.mdf". Operating system

NOSQL系統一般都會宣傳一個特性，那就是效能好，然後為什麼呢？關係型資料庫發展了這麼多年，各種最佳化工作已經做得很深了，NOSQL系統一般都是吸收關係型資料庫的技術，然後，到底是什麼因素束縛了關係型資料庫的效能呢？我們從系統設計的角度看這個問題。1, 索引支援。關係型資料庫創立之初沒有想到今天的互連網應用對可擴充性提出如此高的要求，因此，設計時主要考慮的是簡化使用者的工作，SQL語言的產生促成數

經過今天的學習實踐，終於把ubuntu的網路設定好了。大概總結一下：有兩種設定網路的方式：1. Bridged：在Ubuntu內部（/etc/network/interfaces)中設定的ip與主機類似；2. NAT： 在Ubuntu內部中設定為dhcp（自動擷取）。   另外還需要通過Virtual Network Editor 進行設定。有時候也要看人品的。反正我設定第一種一致沒有成功。   關於設定Ubuntu的interfaces： 一個基本的配置大概是下面這個樣子： 1 auto

現今，完全放棄傳統關聯式資料庫並忙於使用新興的NoSQL資料庫可能還不是一個合理的選擇。相反改進後的SQL（結構化查詢語言 (SQL)）系統可能會對一些技術細節進行調整。在8月23日加利福尼亞聖何塞市舉行的NoSQL 2011大會上分散式資料庫公司VoltDB的首席技術官Michael Stonebraker表達了上述的觀點。7 C3 h8 D% b, e2 A: o! D

什麼是 Ad - hoc 報表 (即席報表)?簡單來說，Ad - hoc 報表就是允許使用者（注意是終端使用者）自行設計的一種報表，比如自己添加行列，匯總，排序等。這裡一般人都會有些不理解，因為：1、終端使用者不懂技術，不可能讓使用者直接存取資料來源，比如我們的使用SQL

啟動流程========Linux系統主要通過以下步驟啟動：1、讀取MBR的資訊，啟動Boot ManagerWindows使用NTLDR作為Boot Manager，如果您的系統中安裝多個版本的Windows，您就需要在NTLDR中選擇您要進入的系統。Linux通常使用功能強大，配置靈活的GRUB作為Boot

　　記得去年初就開始關注Entity Framework，那時只是簡單測試了一下，發現較之Nhibernate不太成熟。當時的EF主要表驅動方式開發，過度依賴edm檔案，並且資料層耦 合了模型層，讓一些MVC分層使用者痛苦不堪。微軟從Oxite1項目發展到Oxite2也在這個DAL與MODEL的理不清的關係上做過徘徊，只好在 EDM的基礎上直接實現BLL。由於EntityObject模型與ObjectContext耦合，在N層架構構中EntityObject直接提供給

HBase簡介 HBase – Hadoop Database，是一個高可靠性、高效能、面向列、可伸縮的分布式儲存系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化儲存叢集。HBase是Google Bigtable的開源實現，類似Google Bigtable利用GFS作為其檔案儲存體系統，HBase利用Hadoop HDFS作為其檔案儲存體系統；Google運行MapReduce來處理Bigtable中的海量資料，HBase同樣利用Hadoop

  Apache Thrift學習小記 收藏

按平均時間將排序分為四類：（1）平方階(O(n2))排序    　一般稱為簡單排序，例如直接插入、直接選擇和冒泡排序；（2）線性對數階(O(nlgn))排序    　如快速、堆和歸併排序；（3）O(n1+￡)階排序    　￡是介於0和1之間的常數，即0<￡<1，如希爾排序；（4）線性階(O(n))排序    　如桶、箱和基數排序。各種排序方法比較     簡單排序中直接插入最好，快速排序最快，當檔案為正序時，直接插入和冒泡均最佳。影響排序效果的因素   

1、ibusIMEUbuntu 系統安裝後已經內建了ibusIME，在英語環境下預設不啟動。配置ibus自動啟動可以在ubuntu系統功能表上選擇System --- Preferences --- Startup Applications，在該視窗中增加一個程式：Name: ibus-daemonCommand: ibus-daemon -d -x -ribus預設提供的中文IME比較弱智，需要額外安裝ibus-pinyin，命令如下：sudo apt-get install

  提到心理學，很多人腦海中的第一印象就是“心理問題”、“心理諮詢”、“弗洛伊德”，“抑鬱症”、“讀心術”這些字眼，總覺得關心心理學的都是一些心理陰暗或有問題的傢伙，這是對現代心理學典型的誤解（參見How to Think Straight About

一.簡介hbase是bigtable的開源山寨版本。是建立的hdfs之上，提供高可靠性、高效能、列儲存、可伸縮、即時讀寫的資料庫系統。它介於nosql和RDBMS之間，僅能通過主鍵(row key)和主鍵的range來檢索資料，僅支援單行事務(可通過hive支援來實現多表join等複雜操作)。主要用來儲存非結構化和半結構化的鬆散資料。與hadoop一樣，Hbase目標主要依靠橫向擴充，通過不斷增加廉價的商用伺服器，來增加計算和儲存能力。HBase中的表一般有這樣的特點：1

資料倉儲簡介    定義：       資料倉儲是決策支援系統和聯機分析應用資料來源的結構化資料環境。資料倉儲研究和解決從資料庫中擷取資訊的問題。       資料倉儲的特徵在於面向主題、整合性、穩定性和時變性。   特點：      1、資料倉儲是面向主題的； 　　      2、資料倉儲是整合的，資料倉儲的資料有來自於分散的操作型資料，將所需資料從原來的資料中抽取出來，進行加工與整合，統一與綜合之後才能進入資料倉儲； 　　  

 本文檔主要介紹ETL測試的流程，以及一般的項目情況來說明ETL的測試方法。ETL測試流程圖測試環節1、 需求分析熟悉商務程序和商務規則，根據需求分析出源表與目標表以及之間的mapping關係，解析出業務的資料流圖： 1、 測試分析測試點：ETL常規檢查：1.ETL指令碼是否有運行錯誤，指令碼已耗用時間(看執行計畫)2.ETL指令碼的錯誤處理機制是否完整(代碼review)3.ETL指令碼是否支援復原商務邏輯檢查：

此圖是根據個人經驗總結出的一個BI通用流程，適用於報表方案，多維分析方案，但不適用於資料採礦的方案。 BI項目關鍵資源：業務專家，BI開發人員，業務開發人員。 業務專家的參與有助於提高需求的準確性，BI開發人員主要負責BI過程相關資源的組織和管理，業務開發人員配合BI開發人員確認資料及業務的相關工作。 下面對這個開發流程做一個解釋： 首先，從報表下手可以很容易的掌握使用者所關注的東西，結合業務系統以及資料結構可以有助於對主題有個大體的印象，同事對一些使用者比較關注的維度和度量才能有個概念。

The time required for inserting a row is determined by the following factors, where the numbers indicate approximate proportions: Connecting: (3) Sending query to server: (2)

SSIS的全稱是SQL Server Integration Service, 其前身是隨SQL Server 7.0而發布的DTS(Data Transformation Service)，後改名為Integration Service。 它和SQL Server的另兩個組件: AS(Analysis Service)和RS(Reporting Service)組成了完整的商務智能平台，覆蓋了BI的整個生命週期，從最開始的資料清洗、整合，到中間的多維分析和資料採礦，再到最後的報表格服務。