任何拋開業務談大資料量的sql最佳化都是瞎扯

標籤:周三去某線上旅遊公司面試。被問到了一個關於資料量大的最佳化問題。問題是:一個主外部索引鍵關聯表,主表有一百萬資料,外部索引鍵關聯表有一千萬的資料,要求做一個串連。本人接觸過單表資料量最大的就是將近兩億行曆史資料(某電訊廠商一業務一年資料)做查詢,所有查詢相關列必須做索引,而且還要保證不會出現全表掃描情況。也從來沒有試過把這麼多資料全部拿出來放記憶體中。只好回答說“再怎麼做最佳化估計都不行,這資料量太大了,效能肯定吃不銷。我只能告訴儘可能的添加過濾條件,不要一次用這麼多的資料來做

RFM模型——構建資料庫營銷的商業戰役!

標籤:RFM模型:R(Recency)表示客戶最近一次購買的時間有多遠,F(Frequency)表示客戶在最近一段時間內購買的次數,M (Monetary)表示客戶在最近一段時間內購買的金額。一般未經處理資料為3個欄位:客戶ID、購買時間、購買金額,用資料採礦軟體處理,加權(考慮權重)得到RFM得分,對得分排序,輸出營銷名單topN!       來自於@資料採礦與資料分析    下面我們採用IBM

Oracle BIEE (Business Intelligence) 11g 11.1.1.6.0 學習(1)安裝

標籤:ORACLE 出品的產品絕對都可以稱得上裝X神器:安裝檔案一定要大(小水管不讓你下個三天三夜那都不叫oracle),系統記憶體必須得大、硬碟空間必須足夠多、安裝時間必須足夠長、各種配置必須足夠複雜、學習曲線必須足夠陡峭...最重要的是 產品價格必須足夠高!只賣貴的,不賣對的:)硬體條件:1、記憶體起碼4G(少於這個數,就建議別玩了)2、如果在虛擬機器裡玩,硬碟建議至少留60G左右軟體環境:1、WINDOWS 2008 R22、ORACLE DATABASE 11G

mysql效能調優與架構設計(一)商業需求與系統架構對效能的影響

標籤:這裡我們就拿一個看上去很簡單的功能來分析一下。需求:一個論壇文章總量的統計附加要求:即時更新在很多人看來,這個功能非常容易實現,不就是執行一條SELECT COUNT(*)的Query 就可以得到結果了嗎?是的,確實只需要如此簡單的一個Query 就可以得到結果。但是,如果我們採用不是MyISAM 儲存引擎,而是使用的Innodb 的儲存引擎,那麼大家可以試想一下,如果存放文章的表中已經有上千萬的帖子的時候,執行這條Query 語句需要多少成本?恐怕再好的硬體裝置,恐怕都不可能在10

C#.NET 大型公司資訊化系統整合快速開發平台 4.2 版本 - 總部業務部門主管管理整個集團分公司的某項業務

標籤:由於整個集團公司非常龐大,有上千個分公司,不可能由總部某個人能管理所有的資料,或者掌握所有的業務。某個業務都會由於某個相應的部門進行管理,例如所有分公司的人力資源,都由總部的人力資源部門管理。哪些分公司誰是人力資源部門的,誰在管理什麼事務,只有總部對口的人力資源的人員最清楚。1: 總部有相應的人力資源管理員,這些人應該是可以管理所有分公司及總部在內的普通業務。但是這些普通管理員不可以設定授權給其他人許可權。2:

剛剛創業的你 這幾點讓你的公司不斷前進

標籤:創業公司   過山車   小型創業   領導者   人人   650) this.width=650;" class="aligncenter size-full wp-image-5081" alt="圖片1" src="http://www.kjxfx.com/wp-content/uploads/2015/02/%E5%9B%BE%E7

SaaS系列介紹之十一: SaaS商業模式分析

標籤:1

矽谷出差行程記錄

標籤:矽谷   美國   出差   記錄   行程   美國之行的路線記錄如此,備忘。去程:home - 皇崗口岸 30 mins,打的大概RMB 60皇崗口岸 - 香港機場 50 mins,不算過關排隊時間,大陸關30 min,香港關 1h,車多的話,試過春節前,需填寫香港入境表格(7人車,RMB150,需內建行李下車過關)香港 -

UVa 1648 (推公式) Business Center

標籤:題意:有一種奇怪的電梯,每次只能向上走u個樓層或者向下走d個樓層現在有m個這種電梯,求恰好n次能夠到達的最小樓層數(必須是正數),最開始預設位於第0層。分析:假設電梯向上走x次,則向下走n-x次,則所到達的樓層為xu - (n-x)d ≥ 0(u+d)x ≥ nd,x的最小值為換句話說,如果nd % (u+d) == 0, x = nd / (u+d)否則 x = nd / (u+d) + 1考慮到不能停到0樓的條件:當nd % (u+d) ==

基礎資料修改時修改業務資料的方案實現

標籤:問題的提出: 在開發的過程中,我們會遇到這樣的問題,在訂單中訂單的所屬人,這個資料設計時有使用者id,使用者名稱稱,聯絡資訊等等。這樣做的好處是不用關聯到系統使用者表做資料關聯。 問題是如果使用者表的基礎資訊發生了修改,那麼這個時候,希望修改訂單相應使用者資訊。   解決方案 方案1. 使用資料庫觸發器,這個修改相對簡單,而且不用修改java代碼。 缺點: 有時開發人員可能不能直接接觸資料庫,無法通過此方式實現。 方案2:

CKRule商務規則管理系統部署說明

標籤:1.   程式包說明軟體是使用WinForm開發的,包含服務端和用戶端,服務端部署在IIS上面,用戶端可以在已經安裝.Net4.0的windows上面運行。 1.1.  服務端程式包CKBrmsServ是伺服器,直接放在IIS上面的根目錄中即可。其檔案內容如下: 資料庫放在database中,預設使用sqlite資料庫,購買了商業許可後,可以使用sqlserver或oracle等大型資料庫。由於sqlite各個版本使用的

測試人員提高業務掌握度的方案

標籤:本文出自 “柳記” 部落格,請務必保留此出處http://eilfei2000.blog.51cto.com/2956473/1040396  測試人員除了掌握測試相關技術,比如測試流程、測試案例編寫思路、自動化指令碼的編寫、維護之外,還需要對自己所測試的具體業務進行學習和掌握。   只有這樣,才能去涉及灰盒、白盒測試,在測試執行過程中,提高自己分析、定位問題的能力提升。 

IT實施過程中如何管理業務需求

標籤:專案管理    目前,大多數企業IT建設與管理都滯後於業務變革,更談不上引領企業發展了。對於這些企業而言,IT對企業業務的支撐或者說推動,是由業務需求到了一定程度來決定的。總的來說,企業的IT發展將取決於業務需求,而不是IT投資。   

大資料量業務訂製和解決方案思考

標籤:大資料量的系統要經過對資料的用處分析和資料周期分析,以尋求更好的解決方案。1:業務系統的基礎資料,如人員基礎資訊(基礎資料,許可權等).資料可以KEEP在記憶體中.資料要分散儲存.基礎資料邏輯要簡潔.使用累加式更新.高峰期來臨前提前更新基礎資料2:熱資料處理此部分資料是各方面環境會頻繁使用到的資料對這部分資料的儲存,比如使用不一樣的儲存方式,比如建立高效的索引,使用SSD盤,或者使用mysql資料庫儲存3:曆史資料的遷移近期資料此類資料是需要最近頻繁使用或者調用的資料,對OLTP系統而言此

廣告平台的商業模式,行業分析

標籤:1:註冊流程2:相關註冊資源帳號資訊URL:         帳號:         密碼:3:詳細付費說明4:相關處罰,  1:廣告資訊平台供應商國內http://www.finead.cn/ 

高並發下的業務提交策略(轉)

標籤:出處:http://www.cnblogs.com/bobsoft/p/3622691.html最近在考慮電商平台高並發下訂單處理問題,總結如下:1.絕大部份的BS系統最大的效能瓶頸我覺得應該在DATABASE                 為什嗎?因為其它影響因素(網路,儲存,WEB伺服器......),是可以通過投入比較快速的解決

三年後再見-致創業的人們

標籤:創業   程式員   企業   團隊   產品    

企業採用saas有什麼好處?

標籤:saas  企業採用saas有什麼好處?  SaaS是一種通過網路提供軟體的模式,所有的服務都託管在雲上,使用者不用再購買軟體,且無需對軟體進行維護。現在,一個完整的企業web應用程式,可以在雲上提供一個敏捷、統一的協的企業作平台。SaaS可以協助企業減少費用、管理硬體、網路和內部IT部門。本文全面總結了在企業環境中採用SaaS的益處。  成本效益  SaaS適合採用更低成本購買正版軟體或開發應用程式的公司。低成本涉及初始成本和長期成本。與傳統軟體相比,SaaS通常是每月提供基礎訂閱,一些

免費的商業智慧軟體

標籤:style   http   ar   color   os   sp   for   strong   on   珠海奧威軟體科技有限公司,是國內最早從事商業智慧(BI)軟體自主研發的廠商之一,於2006年開始,專註於研發

寫留的商務超市管理系統~~~第一部分

標籤:商超 java需求請見:http://pan.baidu.com/s/1pJPsYF5有機會希望再補po到blog上面~首先用menu把進入後的架構搭起來/* * 各級菜單顯示 */package com.pb.menu;public class Menu {/** * 登陸菜單 */public void login()

總頁數: 166 1 .... 84 85 86 87 88 .... 166 Go to: 前往

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.