前言:
高效能的基石:良好的邏輯、實體設計,根據系統要執行的查詢語句設計schema
本章關注MySQL資料庫設計,介紹mysql資料庫設計與其他關係型資料庫管理系統的區別
schema:【源】
schema就是資料庫物件的集合,這個集合包含了各種對象如:表、視圖、預存程序、索引等。為了區分不同的集合,就需要給不同的集合起不同的名字,預設情況下一個使用者對應一個集合,使用者的schema名等於使用者名稱,並作為該使用者預設schema。所以schema集合看上去像使用者名稱。
如果把database看作是一個倉庫,倉庫很多房間(schema),一個schema代表一個房間,table可以看作是每個房間中的儲物櫃,user是每個schema的主人,有操作資料庫中每個房間的權利,就是說每個資料庫映射的user有每個schema(房間)的鑰匙。 SQL server和Oracle mysql有別
4.1選擇最佳化的資料類型
原則:
1、更小的通過更好,盡量使用可正確儲存資料的最小的資料類型(占更少的磁碟 記憶體 CPU緩衝,處理時需要CPU周期更少:更快),但能罩得住資料,存不下就尷尬了
2、簡單就好:簡單類型(更少CPU周期),使用MySQL內建類型存時間,整型存ip,整型較字元代價低(字元集和校對定序使字元較複雜)
3、盡量避免null:最好指定為not null
*)null列使用更多的儲存空間,mysql裡需要特殊處理
*)null使索引、索引統計和值比較更複雜;可為null的列被索引時,每個索引記錄需額外的位元組
例外:InnoDB使用單獨位bit儲存null,so對於稀疏資料(很多值為null)有很好的空間效率,不適合MyISAM
4.1.1整數類型【參考】
整數whole number
tinyint(8位儲存空間) smallint(16) mediumint(24) int(32) bigint(64)
1、儲存值的範圍:,N是儲存空間的位元
2、unsigned:可選、不容許負值,可使正數的上限提高一倍:tinyint unsigned 0~255,tinyint-128~127
3、有無符號使用相同的儲存空間,相同的效能
可為整型指定寬度,例如INT(11),對於大多數應用無意義,不會限制值的合法範圍,只是規定了互動工具顯示字元的個數,對於儲存和計算,int(1)和int(20)是相同的;
實數real number:帶小數
float和double,mysql使用duble作為內部浮點計算的類型
decimal:儲存精確的小數,mysql伺服器自身實現,decimal(18,9)18位,9位小數,9個位元組(前4後4點1)
盡量只在對小數進行精確計算時才使用(額外的空間和計算開銷),如財務資料
資料量大時,考慮使用bigint代替,將需要儲存的貨幣單位據小數的位元乘以相應的倍數
浮點:
建議:只指定類型、不定精度(mysql),這些精度非標準,mysql會悄選類型、或存時對值取捨
儲存同樣範圍的值時,比decimal更少的空間,float4位元組存 double8位元組(更高精度範圍)
4.1.3字串類型
varchar和char:
前提:innodb和myisam引擎,最主要的字串類型
磁碟儲存:儲存引擎儲存的方式與在記憶體、磁碟上的不能不一樣,所以mysql伺服器從引擎取值需轉格式
varchar:
1、儲存可變字串,比定長節省空間的(僅使用必要的空間),但如果表使用row_format=fixed,行會定長儲存
2、需使用1/2額外位元組記錄字串長度;1)列max長度<=255位元組,1位元組表示,否2位元組,2)採用latinl字元集,varchar(10)列需11個位元組的儲存空間,varchar(1000)1002位元組,2位元組儲存長度資訊
3、節省儲存空間,利於效能;但在update可能使行變得比原來更長、需做額外工作
合適的情況:
1)字串列最大長度比平均長度大很多;2)列的更新少(不擔心片段);3)使用UTF-8字串,每個字元均使用不同的位元組數儲存
char:
1、定長,據長度分配空間,刪除all末尾空格;長度不夠、空格填充
2、儲存空間上更有效率,char(1)來儲存只有Y N的值 1個位元組 ,varchar2位元組,還有一個記錄長度
適合的情況:
1)適合儲存很短的字串;2)或all值接近同一個長度;3)經常變更的資料,儲存不易片段
對應空格、儲存:
char類型儲存時末尾空格被刪;資料如何儲存取決於儲存引擎,Memory引擎只支援定長的行(最大長度分配空間)
binary,varbinary:儲存二進位字串,位元組碼,長度不夠、\0來湊(不是空格)檢索時不會去
慷慨不是明智的:varchar(5)和varchar(100)儲存‘hell’空間開銷一樣,長的列消耗更多記憶體
blob和text:大資料
分別用二進位和字元方式儲存,分別屬於兩組不同的資料類型:字元類型:tinytext、smalltext、text、mediumtext、longtext,對應的二進位類型是tinyblob、smallblob、blob、mediumblob、longblob,兩類僅有的不同:blob類型儲存的是二進位,無定序或字元集,text有字串 定序;
MySQL會把每個blob和text當做獨立的對象處理,儲存引擎儲存時會做特殊處理,當值太大,innoDB使用專門的外部儲存地區進行儲存,此時每個值在行內需要1~4個位元組儲存一個指標,然後在外部儲存實際的值;
mysql對他們的列排序:只對每列前max_sort_length位元組排序;且不能將列全部長度的字串進行索引,也不能使用這些索引消除排序;
如果explain執行計畫的extra包含using temporary:這個查詢使用了隱式暫存資料表
使用enum代替字串類型
定義時指定取值範圍,對1~255個成員的枚舉需要1個位元組儲存;對於256~65535個成員,需要2個位元組儲存。最多可以有65535個成員,ENUM類型只能從成員中選擇一個;和set相似
可把不重複的固定的字串儲存成一個預定義的集合,mysql在儲存枚舉時會據列表值的數量壓縮到1/2位元組中,在內部會將每個值在列表中的位置儲存為整數(從1開始,必須進行尋找才能轉換為字串,開銷、列表小 可控),且在表的.frm檔案中保持“數字-字串”映射關係的“尋找表”;
將一個數字儲存到一個 ENUM
中,數字被當作為一個索引值,並且儲存的值是該索引值所對應的枚舉成員: 在一個 ENUM
字串中儲存數字是不明智的,因為它可能會打亂思維;ENUM
值依照列規格說明中的列表順序進行排序。(ENUM
值依照它們的索引號排序。)舉例來說,對於 ENUM("a", "b")
"a"
排在 "b"
後,但是對於 ENUM("b", "a")
, "b"
卻排在 "a"
之前。Null 字元串排在非Null 字元串前,NULL
值排在其它所有的枚舉值前。為了防止意想不到的結果,建議依照字母的順序定義 ENUM
列表。也可以通過使用GROUP BY CONCAT(col)
來確定該以字母順序排序而不是以索引值。【源】
排序時安裝建立表時的順序排序的(應該是);枚舉最不好的地方:字串列表是固定的,添加刪除字串須使用alter table;在‘尋找表’時採用整數主鍵避免基於字串的值進行關聯;
4.1.4日期和時間
datetime:大範圍的值 1001 9999 s YYYYMMDDHHMMSS 與時區不轉換 8位元組
預設,以可排序、無歧義的格式顯示datetime:2008-01-02 22:33:44
timestamp:1970 2038,1970 1 1以來的秒數,時區 4位元組
from_unixtime將unix時間戳記轉日期,unix_timestamp將日期轉unix時間戳記
插入時沒有指定第一個timestamp列的值,設定為目前時間,插入記錄時,預設更新第一個timestamp列的值,timestamp類為not null,盡量使用timestamp(空間效率高);
可以使用bigint類型儲存微妙層級的時間戳記,或double存秒之後的小數部分,或使用MariaDB代替MySQL;
4.1.5 位
bit:mysql5.0
前與tinyint同義字,新特性
bit(1)單個位的欄位,bit(2)2個位,最大長度64個位
行為因儲存引擎而異,MyISAM打包儲存all的BIT列(17個單獨的bit列只需要17個位儲存,myisam3位元組ok),其他引擎Memory和innoDB為每bit列使用足夠儲存的最小整數類型來存放,不節省儲存空間;
mysql把bit當做字串類型,檢索bit(1)值、結果是包含二進位0/1的字串,數字內容相關的情境檢索,將字串轉成數字,大部分應用,best避免使用;
set
建立表時,就指定SET類型的取值範圍 :屬性名稱 SET('值1','值2','值3'...,'值n'),“值n”參數表示列表中的第n個值,這些值末尾的空格將會被系統直接刪除,欄位元素順序 系統自動按照定義時的順序顯示 重複 只存一次。
其基本形式與ENUM類型一樣。SET類型的值可以取列表中的一個元素或者多個元素的組合。取多個元素時,不同元素之間用逗號隔開。SET類型的值最多隻能是有64個元素構成的組合,根據成員的不同,儲存上也有所不同:【參考,同enum】
1~8成員的集合,佔1個位元組。9~16成員的集合,佔2個位元組。17~24成員的集合,佔3個位元組。25~32成員的集合,佔4個位元組。33~64成員的集合,佔8個位元組。
需要保持很多true、false值,可考慮合并這些列到set類型,在mysql內部以一系列打包的位的集合來表示的(有效利用儲存空間)且mysql有find_in_set、field函數,方便在查詢中使用;
缺點:改變列的定義代價高,需要alter table,無法再set上通索引尋找
在整數列按位操作:
代替set的方式:使用整數封裝一系列的位:可把8個位封裝到tinyint中,且按位操作來使用,為位定義名稱常量來簡化這個工作,但是這樣查詢語句較難寫且難理解
4.1.6選擇標識符identifier
識別欄位:自增長列【源】
1)可不用手動插入值,系統提供預設序列值;2)不要求和主鍵搭配 ; 3)要求是unique key;
4)一個表最多一個;5)類型只能是數值;5)可通過set auto_increment_increment=3;
選擇識別欄位類型時
考慮儲存類型、mysql對這種類型怎麼執行計算和比較,確定後確保在all關聯表中使用same類型,類型間要精確匹配;
技巧:
1、整數類型:整數通常最好的選擇,很快且可使用auto_increment
2、enum和set類型,儲存固定資訊
3、字串:避免,耗空間較數字慢,myisam表特別小心(預設對字串壓縮使用、查詢慢)
1)完全“隨機”字串MD5/SHA1/UUID函數產生的新值 會任意分布在很大的空間內,導致insert及部分的select變慢:插入值隨機的寫到索引的不同位置,insert變慢(頁分裂 磁碟隨機訪問 聚簇索引片段);select變慢、邏輯上相鄰的行分布在磁碟和記憶體不同的地方;隨機值導致緩衝對all類型的查詢語句效果都變差(使緩衝賴以工作的訪問局部性原理失效)
聚簇索引,實際儲存的循序結構與資料存放區的物理結構一致,通常來說物理順序結構只有一種,一個表的聚簇索引也只能有一個,通常預設都是主鍵,設定了主鍵,系統預設就為你加上了聚簇索引;【源】
非聚簇索引記錄的物理順序與邏輯順序沒有必然的聯絡,與資料的儲存物理結構沒有關係;一個表對應的非聚簇索引可以有多條,根據不同列的約束可以建立不同要求的非聚簇索引;
2)儲存uuid,移除-符號,或者用unhex轉換uuid值為16位元組的數字,且儲存在binary(16)列中,檢索時通過hex函數格式化為16進位格式;
UUID產生的值與加密散列函數(sha1)產生的值不同特徵:uuid分布不均勻,有一定順序,不如遞增整數
當心自動產生的schema:
嚴重性能問題,很大的varchar、關聯列不同的類型;
orm會儲存任意類型的資料到任意類型的後端資料存放區中,並沒有設計使用更優的類型儲存,有時為每個對象每個屬性使用單獨行,設定使用基於時間戳記的版本控制,導致單個屬性會有多個版本存在;權衡
4.1.7特殊類型資料:空
相關文章:
【MySQL資料庫】第三章解讀:伺服器效能剖析(上)
【MySQL資料庫】第三章解讀:伺服器效能剖析 (下)