mysql大資料分庫和分表 php解決方案！

標籤：targe   使用   title   變化   replace   ati   html   能力   統計   

 當Mysql資料量過大時，就會面臨壓力分解，這時分庫分表是一個不錯的解決方案，現在我們就來談談Mysql如何分庫分表比較理想，然後再用php如何調用。 

1，主從複製，讀寫分離

對主庫修改資料，查詢使用從庫。一主多從，來降低資料庫讀取壓力。

2，分庫分表

根據實體業務來分庫，分表。如，根據資料的活躍性，根據使用者uid等。

3，MySQL 不同儲存引擎區別

InnoDB 用於資料完整性/寫效能要求比較高的應用. MyISAM 適合查詢應用。

 
分表是分散資料庫壓力的好方法。

分表，最直白的意思，就是將一個表結構分為多個表，然後，可以再同一個庫裡，也可以放到不同的庫。

當然，首先要知道什麼情況下，才需要分表。個人覺得單表記錄條數達到百萬到千萬層級時就要使用分表了。

1，分表的分類

1>縱向分表

將本來可以在同一個表的內容，人為劃分為多個表。（所謂的本來，是指按照關係型資料庫的第三範式要求，是應該在同一個表的。）

分表理由：根據資料的活躍度進行分離，（因為不同活躍的資料，處理方式是不同的）

案例：

對於一個部落格系統，文章標題，作者，分類，建立時間等，是變化頻率慢，查詢次數多，而且最好有很好的即時性的資料，我們把它叫做冷資料。而部落格的瀏覽量，回複數等，類似的統計資訊，或者別的變化頻率比較高的資料，我們把它叫做活躍資料。所以，在進行資料庫結構設計的時候，就應該考慮分表，首先是縱向分表的處理。

這樣縱向分表後：

首先儲存引擎的使用不同，冷資料使用MyIsam 可以有更好的查詢資料。活躍資料，可以使用Innodb ,可以有更好的更新速度。

其次，對冷資料進行更多的從庫配置，因為更多的操作時查詢，這樣來加快查詢速度。對熱資料，可以相對有更多的主庫的橫向分表處理。

其實，對於一些特殊的活躍資料，也可以考慮使用memcache ,Redis

之類的緩衝，等累計到一定量再去更新資料庫。或者MongoDB 一類的nosql 資料庫，這裡只是舉例，就先不說這個。

2>橫向分表

字面意思，就可以看出來，是把大的表結構，橫向切割為同樣結構的不同表，如，使用者資訊表，user_1,user_2 等。表結構是完全一樣，但是，根據某些特定的規則來劃分的表，如根據使用者ID來模數劃分。

分表理由：根據資料量的規模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。

案例：同上面的例子，部落格系統。當部落格的量達到很大時候，就應該採取橫向分割來降低每個單表的壓力，來提升效能。例如部落格的冷資料表，假如分為100個表，當同時有100萬個使用者在瀏覽時，如果是單表的話，會進行100萬次請求，而現在分表後，就可能是每個表進行1萬個資料的請求（因為，不可能絕對的平均，只是假設），這樣壓力就降低了很多很多。

 
1，背景：一個地址薄的應用程式，設計的使用者量為2億，統計出每個使用者的地址薄為30個左右，整個資料量為60億，使用mysql資料庫（億級資料庫設計）
計劃分為：1000個表，100個庫

2，分庫分表代碼

private function getDbNo($email)
{
    $m = md5($email);
    $n = hexdec(substr($m, 0, 16));
    $tableNo = fmod($n, 1000);
    $dbNo = $tableNo % 100;
    return array($dbNo, $tableNo);
}

3，配合的串連存取碼

require_once ‘Db/Config.PHP’;

class Db_Adapter
{
    const MASTER    = 0;
    const SLAVE     = 1;

    private static $instances = array();

    private $conf = array();

    private $conns = array();

    private $conn = NULL;
    private $stmt = NULL;
    public function __construct($conf)
    {
        $this->conf = $conf;
    }

    public function execute($sql, $params)
    {
        $cmd = substr(strtolower(trim($sql)), 0, 6);
        if ($cmd == ‘select’) {
            $conn = $this->getConn(self::SLAVE);
        } else {
            $conn = $this->getConn(self::MASTER);
        }

        $conn->prepare($sql);
        $stmt = $conn->execute($params);

        $this->conn = $conn;
        $this->stmt = $stmt;
    }

    public function fetch()
    {
        return $this->stmt->fetch();
    }

    public function fetchAll()
    {
        return $this->stmt->fetchAll();
    }

    public function lastInsertId($name = NULL)
    {
        return $this->conn->lastInsertId($name);
    }

    public function rowCount()
    {
        return $this->stmt->rowCount();
    }

    private function getConn($type)
    {
        if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
            $id = 0;
        } else {
            $id = 1;
        }

        if (!isset($this->conns[$id])) {
            $conf = $this->conf[$id];
            $this->conns[$id] = new PDO(
                $conf[‘dsn‘], $conf[‘user‘], $conf[‘pass‘],
                self::dbOptions);
        }

        return $this->conns[$id];
    }

    public static function getInstance($dbName, $dbNo = 0)
    {
        $key = $dbName . ‘_’ . $dbNo;
        if (!isset(self::$instances[$key])) {
            $conf = Db_Config::getConfig($dbName, $dbNo); //串連配置參數
            self::$instances[$key] = new self($conf);
        }

        return self::$instances[$key];
    }
}

4，【潛在問題】

如果某個表中的那些使用者的地址薄連絡人超多，如每個人1000個，則可能出現該表超大，需要把該表區分為子表，暫時沒有配置中心來處理該情況。
(若真的出現該情況，在串連參數這個地方繼續作一次hash)。

 

mysql大資料分庫和分表 php解決方案！