關於資料倉儲的想法

要能夠把企業的資料從宏觀到微觀能夠清晰表達,並且能夠實現出來。需要首先有一個全域的瞭解,將整個CRM系統進行宏觀的歸併,得到高層資料檢視,並加以抽象,劃定幾個邏輯的資料主題範圍;然後再對目前需要做的報表所在的主題進行資料分析和主題定義(如果主題還過大還需要進行分解,定義低一級的主題),定義維、度量、主題、粒度、儲存期限等主題元素;定義維、度量、主題、粒度、儲存期限  定義維的概念特性:  維名稱,名稱應該能夠清晰表示出這個維的業務含義。  維成員,也就是這個維所代表的具體的資料,  維層次,維成

買車資料匯總

騏達:從發動機、變速箱、空間、油耗和各種配置來說騏達都非常不錯。有顧慮的地方有:1.安全性上據說還可以,但是和速騰或科魯茲這些歐美車系比還是差點;不過目前還是首選。卡羅拉:空間一般般。 新寶來&新速騰:1.6L動力比較差,1.4T價格有點高,車內空間一般般,挺緊湊的,油耗比日系車高,比通用好像好點。科魯茲&福克斯:油耗高  新悅動:空間還可以,但發動機&變速箱據說很一般,其他方面據說毛病也非常多。鋒範&陽光:和悅動類似,這個價位的車總是有很多問題。

關於TDD的想法

TDD最大的優點是從使用的角度而不是開發的角度來看待軟體;能夠產生更好的應用介面。TDD的問題是直接切入到了軟體或業務的細節。所以我覺得一個軟體還是需要先有一個整體的設計,對於具體的某一塊功能可以基於TDD來開發;另外一個適用情境是整個軟體的整體需求還比較模糊,可以使用TDD對主要業務需求建立原型;單元測試與Scrum:單元測試的優點是隨著測試案例的累積,對於系統的修改有更多的品質保證,但是隨著測試案例的增加,維護成本也是不斷提升,特別是在scrum模型中,單元測試似乎很雞肋了。

關於自動化測試

很多東西總是很容易被提起,然後接著被忘記;比如開發的單元測試,和測試的自動化測試。我覺得這個和企業的文化、開發測試團隊的流程化水平相關。如果我們在工作中已經“敏捷”掉了需求分析和詳細設計的時間,那麼我們是不可能忍受單元測試使用初期帶來的效率下降,也不可能堅持維護現有的單元測試指令碼。同樣如果測試組現在都不能在最開始參與到需求討論會中,沒有幾個功能模組覆蓋了測試案例,甚至還處於只會“冒煙兒”的初級階段,那麼可以肯定和測試自動化的階段還非常遙遠。我們要做的不是在每次問題出現後才強調測試的重要性,也不

GAMS 基礎文法

例子程式:            SETS        I   canning plants   / SEATTLE, SAN-DIEGO /        J   markets          / NEW-YORK, CHICAGO, TOPEKA / ;   PARAMETERS        A(I)  capacity of plant i in cases          /    SEATTLE     350               SAN-DIEGO   600  /

對REST的理解

一直不知道REST是幹嘛的,這兩天重寫永俠的REST服務代碼,問了一下鄒建,大概有了些瞭解。REST類似於Web Service,不過它使用HTTP原生的協議,不依賴於SOAP協議;所以REST是無狀態的,而Web Service可以是有狀態的;REST跨語言性比Web Service要好,它可以通過JSON傳遞參數,所以各種語言做的用戶端訪問REST都很方便,比Web Service方便;例如用JS訪問Web Service還是比較麻煩的;.net 4.5 中新增加一個叫web api的東東,

《你的燈亮著嗎》讀書筆記

人們如何思考?人們在遇到棘手的難題時會怎麼思考並處理?對於某一個特定的問題,人們會用什麼樣的角度去思考?一位少年去拜訪智者。他問:我如何才能快樂地解決我所遇到的問題呢?智者告訴他四句話:把自己當成別人;把別人當成自己;把別人當成別人;把自己當成自己。智者的話道出了看待事物的最重要的立場問題。而這,正是本書首先提出的主題:1)動手去解決問題之前,好好想想問題的來源;2)如何站在各個角度來看待面臨的問題,以能夠知道其真正所在;如何去嘗試那個最能解決真正問題的方法,並且時刻保持警惕心;3)為什麼不要把

Hibernate資料緩衝策略

(一)hibernate資料緩衝策略      緩衝是資料庫資料在記憶體中的臨時容器,它包含了庫表資料在記憶體中的拷貝,位於資料庫與資料訪問層之間。對於查詢操作相當頻繁的系統(論壇,新聞發布等),良好的緩衝機制顯得尤為重要。     ORM在進行資料讀取時,首先在緩衝中查詢,避免了資料庫調用的效能開銷。 ORM的資料緩衝應包含下面幾個層次:1)事務級緩衝    2)應用級緩衝   3)分布式緩衝

家長的境界

第一境界:       家長捨得給孩子花錢,以為錢就是全部愛的表達。第二境界:       家長捨得給孩子花時間,陪在孩子的身邊,見證孩子的成長。第三個境界:       家長開始思考教育的目標問題——我究竟想要一個什麼樣的孩子?一旦目標能夠清晰地確定,家長就不容易被人裹挾著,熱衷於跟風、盲目地對孩子進行培養。第四個境界:       家長為了教育孩子去學習,他們不再停留在“沒有辦法”或者“管不了”,而是關注孩子的問題癥狀及其原因,積極進行幹預和矯正。第五個境界:       家長為了教育孩子而

HIVE Thrift Server使用總結

因為報表前端用dot NET MVC寫的,要想從HIVE中擷取詳細資料,目前的方案是使用hive thriftserver。 1. 產生HIVE

Yahoo資料倉儲架構簡介

1. Yahoo資料倉儲的整體架構  Yahoo資料倉儲在基礎架構上由hadoop叢集和Oracle叢集組成,hadoop叢集是一個計算平台,完成所有ETL資料處理過程;Oracle叢集只是一個查詢環境。    資料通過Data highway從源系統載入進入資料倉儲的ODS層,ODS層資料保持與源系統資料結構一樣。EDW資料層並沒有嚴格意義的資料層次的邏輯細分,它可能有

Hive UDAF開發

Hive進行UDAF開發,相對要比UDF複雜一些,不過也不是很難。請看一個例子package org.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.hive.serde2.io.DoubleWritable; public class UDAFSum_Sample extends NumericUDAF {    public static class

使用Thrift RPC編寫程式zz

1.概述本文以C++語言為例介紹了thrift RPC的使用方法,包括對象序列化和還原序列化,資料轉送和資訊交換等。本文採用了一個樣本進行說明,該樣本主要完成傳輸(上報日誌或者報表)功能,該樣本會貫穿本文,內容涉及thrift定義,代碼產生,thrift類說明,client編寫方法,server編寫方法等。關於Thrift架構分析,可參考:Thrift架構介紹。關於Thrift檔案編寫方法,可參考:Thrift使用指南。2.樣本描述假設我們要使用thrift

編譯Hive/Hadoop總結

 編譯Hive/Hadoop總結1. 首先要看readme檔案,根據說明來編譯;2. 首先在命令列確保可以編譯打包成功,然後執行ant eclipse-files產生針對eclipse的檔案,然後就可以匯入到eclipse裡了(具體見http://blog.csdn.net/shuhuai007/article/details/6739847)3. 修改編譯環境HADOOP_HOME的值(Run-->Debug

XslTransform.Transform方法將結果輸出到字串

XslTransform.Transform

Greenplum技術淺析

說起Greenplum這個產品,最早是SUN來推他們的資料倉儲產品DWA時接觸到的,對這個由PgSQL堆疊出來的資料庫產品還不是很瞭解,當時的焦點還在DWA本身的硬體上,當然不可否認,DWA還是有一些特點的。後來,我們發現普通的PC+SAS磁碟具備非常好的吞吐能力,完全不遜於某些昂貴的存放裝置。這樣我們就嘗試用PC+Greenplum搭建了一個 環境,效果完全超出了我們的預期,輸送量完全超過了我們的大型儲存。從那時開始,我們不再迷信那些昂貴的主機和儲存,開始嘗試一些新的東西,比如用

hadoop hive安裝手記

hive是基於Hadoop的一個資料倉儲工具,可以將結構化的資料檔案映射為一張資料庫表,並提供完整的sql查詢功能,可以將sql語句轉換為 MapReduce任務進行運行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合資料倉儲的統計分析。[網路環境設定] vim /etc/hosts192.168.100.52 hadoop1 192.168.99.34 hadoop2 192.168.103.135

Apriori演算法zz

Apriori演算法是我的第一個資料採礦演算法,算處女作吧,哈哈哈。在這之前我對資料採礦 演算法恐懼,覺得太難了,只是大致看了下原理,然後在clementine上拖幾個控制項跑下demo,啟動並執行結果很好但是總覺得技術含量不高,我不知道為什 麼要這麼做,為什麼那些參數要那麼設定,更糟糕的是發現那些演算法過一段時間都忘記了。沒辦法,不入虎穴焉得虎子,我逼迫自己根據書上提供的講解和偽碼,琢

RedHat5.5安裝Python2.6

由於python版本不匹配,所以需要重新安裝python,但是通過源碼編譯在make的時候會有很多依賴項的問題(具體見http://www.linuxdiyf.com/viewarticle.php?id=55587),嘗試了很久無法解決,無意中發現下面的方法,最終安裝成功。wget http://mirrors.ircam.fr/pub/ius/stable/Redhat/5/x86_64/epel-release-5-4.noarch.rpm wget

網路管理與相關應用

網路管理與相關應用01 1.arp 控制系統ARP緩衝,arp -a 查詢表中的所有記錄項,arp -e 顯示所有arp表記錄項 2.arpwatch  監聽ARP記錄 3.arping 向鄰居主機發送arp請求 4.cu 調用其他主機系統 ,cu -v 顯示版本資訊 5.hostname 顯示當前系統的主機名稱 6.host  DNS查詢,host www.baidu.com 7.ifconfig 顯示或配置網路裝置 ,ifconfig -a 顯示所有網卡資訊,ifconfig lo

總頁數: 61357 1 .... 26435 26436 26437 26438 26439 .... 61357 Go to: 前往

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.