mysql大資料分庫和分表 php解決方案!

來源:互聯網
上載者:User

標籤:targe   使用   title   變化   replace   ati   html   能力   統計   

 當Mysql資料量過大時,就會面臨壓力分解,這時分庫分表是一個不錯的解決方案,現在我們就來談談Mysql如何分庫分表比較理想,然後再用php如何調用。 

1,主從複製,讀寫分離

對主庫修改資料,查詢使用從庫。一主多從,來降低資料庫讀取壓力。

2,分庫分表

根據實體業務來分庫,分表。如,根據資料的活躍性,根據使用者uid等。

3,MySQL 不同儲存引擎區別

InnoDB 用於資料完整性/寫效能要求比較高的應用. MyISAM 適合查詢應用。

 
分表是分散資料庫壓力的好方法。

分表,最直白的意思,就是將一個表結構分為多個表,然後,可以再同一個庫裡,也可以放到不同的庫。

當然,首先要知道什麼情況下,才需要分表。個人覺得單表記錄條數達到百萬到千萬層級時就要使用分表了。

1,分表的分類

1>縱向分表


將本來可以在同一個表的內容,人為劃分為多個表。(所謂的本來,是指按照關係型資料庫的第三範式要求,是應該在同一個表的。)

分表理由:根據資料的活躍度進行分離,(因為不同活躍的資料,處理方式是不同的)

案例:

對於一個部落格系統,文章標題,作者,分類,建立時間等,是變化頻率慢,查詢次數多,而且最好有很好的即時性的資料,我們把它叫做冷資料。而部落格的瀏覽量,回複數等,類似的統計資訊,或者別的變化頻率比較高的資料,我們把它叫做活躍資料。所以,在進行資料庫結構設計的時候,就應該考慮分表,首先是縱向分表的處理。

這樣縱向分表後:

首先儲存引擎的使用不同,冷資料使用MyIsam 可以有更好的查詢資料。活躍資料,可以使用Innodb ,可以有更好的更新速度。

其次,對冷資料進行更多的從庫配置,因為更多的操作時查詢,這樣來加快查詢速度。對熱資料,可以相對有更多的主庫的橫向分表處理。

其實,對於一些特殊的活躍資料,也可以考慮使用memcache ,Redis

之類的緩衝,等累計到一定量再去更新資料庫。或者MongoDB 一類的nosql 資料庫,這裡只是舉例,就先不說這個。

2>橫向分表


字面意思,就可以看出來,是把大的表結構,橫向切割為同樣結構的不同表,如,使用者資訊表,user_1,user_2 等。表結構是完全一樣,但是,根據某些特定的規則來劃分的表,如根據使用者ID來模數劃分。

分表理由:根據資料量的規模來劃分,保證單表的容量不會太大,從而來保證單表的查詢等處理能力。

案例:同上面的例子,部落格系統。當部落格的量達到很大時候,就應該採取橫向分割來降低每個單表的壓力,來提升效能。例如部落格的冷資料表,假如分為100個表,當同時有100萬個使用者在瀏覽時,如果是單表的話,會進行100萬次請求,而現在分表後,就可能是每個表進行1萬個資料的請求(因為,不可能絕對的平均,只是假設),這樣壓力就降低了很多很多。

 
1,背景:一個地址薄的應用程式,設計的使用者量為2億,統計出每個使用者的地址薄為30個左右,整個資料量為60億,使用mysql資料庫(億級資料庫設計)
計劃分為:1000個表,100個庫

2,分庫分表代碼

private function getDbNo($email)
{
    $m = md5($email);
    $n = hexdec(substr($m, 0, 16));
    $tableNo = fmod($n, 1000);
    $dbNo = $tableNo % 100;
    return array($dbNo, $tableNo);
}

3,配合的串連存取碼

require_once ‘Db/Config.PHP’;

class Db_Adapter
{
    const MASTER    = 0;
    const SLAVE     = 1;

    private static $instances = array();

    private $conf = array();

    private $conns = array();

    private $conn = NULL;
    private $stmt = NULL;
    public function __construct($conf)
    {
        $this->conf = $conf;
    }

    public function execute($sql, $params)
    {
        $cmd = substr(strtolower(trim($sql)), 0, 6);
        if ($cmd == ‘select’) {
            $conn = $this->getConn(self::SLAVE);
        } else {
            $conn = $this->getConn(self::MASTER);
        }

        $conn->prepare($sql);
        $stmt = $conn->execute($params);

        $this->conn = $conn;
        $this->stmt = $stmt;
    }

    public function fetch()
    {
        return $this->stmt->fetch();
    }

    public function fetchAll()
    {
        return $this->stmt->fetchAll();
    }

    public function lastInsertId($name = NULL)
    {
        return $this->conn->lastInsertId($name);
    }

    public function rowCount()
    {
        return $this->stmt->rowCount();
    }

    private function getConn($type)
    {
        if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
            $id = 0;
        } else {
            $id = 1;
        }

        if (!isset($this->conns[$id])) {
            $conf = $this->conf[$id];
            $this->conns[$id] = new PDO(
                $conf[‘dsn‘], $conf[‘user‘], $conf[‘pass‘],
                self::dbOptions);
        }

        return $this->conns[$id];
    }

    public static function getInstance($dbName, $dbNo = 0)
    {
        $key = $dbName . ‘_’ . $dbNo;
        if (!isset(self::$instances[$key])) {
            $conf = Db_Config::getConfig($dbName, $dbNo); //串連配置參數
            self::$instances[$key] = new self($conf);
        }

        return self::$instances[$key];
    }
}

4,【潛在問題】

如果某個表中的那些使用者的地址薄連絡人超多,如每個人1000個,則可能出現該表超大,需要把該表區分為子表,暫時沒有配置中心來處理該情況。
(若真的出現該情況,在串連參數這個地方繼續作一次hash)。

 

mysql大資料分庫和分表 php解決方案!

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.