隨著互聯(lián)網(wǎng)應用的廣泛普及，海量數(shù)據(jù)的存儲和訪問成為系統(tǒng)設計的難題。 對于一個小型的互聯(lián)網(wǎng)應用來說，一百萬甚至上億的PV每晚無疑會給數(shù)據(jù)庫造成特別高的負載，給系統(tǒng)的穩(wěn)定性和擴展性帶來很大的問題。

1.負載均衡技術

負載均衡是由一組通過常規(guī)或專用網(wǎng)絡連接的獨立計算機系統(tǒng)組成，路由器連接在一起，節(jié)點配合其他常見的負載均衡和客戶端壓力，整個集群可以看作是一個超高性能專用服務器平臺。

1.實現(xiàn)原理

要實現(xiàn)數(shù)據(jù)庫的負載均衡技術，首先要有一個控制終端，可以控制與數(shù)據(jù)庫的連接。 在這里，它攔截了數(shù)據(jù)庫和程序的直接連接，所有程序訪問的中間層，然后是訪問數(shù)據(jù)庫的中間層。 在這些方法中，我們可以具體控制對數(shù)據(jù)庫的訪問，然后可以采用有效的平衡策略，根據(jù)數(shù)據(jù)庫當前的負載情況來調(diào)整數(shù)據(jù)庫連接。

2.多基地數(shù)據(jù)同步的實現(xiàn)

對于負載均衡來說，最重要的是所有服務器的數(shù)據(jù)是實時同步的。 這對于一個集群來說是必須的，因為如果不是實時的或者異步的，那么用戶從服務器讀取不同的數(shù)據(jù)，從另外一個服務器讀取數(shù)據(jù)，這是不允許的。 因此，必須進行數(shù)據(jù)庫的數(shù)據(jù)同步。 這樣就可以在查詢中有多個資源，達到平衡。 常用的方法是 SQL Mobis SQL集群，集群服務器會用來駐留核心程序在每臺機器的數(shù)據(jù)庫中，核心程序調(diào)用 to SQL中間件，主要作用是在檢測中改變數(shù)據(jù)庫數(shù)據(jù)將更改后的數(shù)據(jù)同步到其他數(shù)據(jù)庫，數(shù)據(jù)同步完成后客戶端會得到響應。 同步是并行完成的，所以多個數(shù)據(jù)庫和數(shù)據(jù)庫之間的同步時間基本相同； 據(jù)悉，同步過程是在商業(yè)環(huán)境中完成的，保證隨時多份數(shù)據(jù)，數(shù)據(jù)一致性，因為創(chuàng)新了數(shù)據(jù)庫主機上的中間件，除了讓中間件知道數(shù)據(jù)的變化，以及數(shù)據(jù)變化引起的SQL語句，根據(jù)智能SQL語句采用不同類型的數(shù)據(jù)同步策略，保證數(shù)據(jù)同步的代價最小。

數(shù)據(jù)棒數(shù)量少，數(shù)據(jù)量小，直接同步數(shù)據(jù)。

數(shù)據(jù)條數(shù)量少，但包含大數(shù)據(jù)類型，如文本、二進制補碼數(shù)據(jù)等，之后先對數(shù)據(jù)進行壓縮再同步服務器運維技術，以減少網(wǎng)絡帶寬和傳輸時間。

有很多數(shù)據(jù)列。 此時，中間件會獲取到修改數(shù)據(jù)的SQL語句，然后對SQL語句進行分析，分析其執(zhí)行計劃和執(zhí)行成本，選擇是同步數(shù)據(jù)還是將SQL語句同步到其他數(shù)據(jù)庫。

3.優(yōu)點和缺點

(1) 可擴展性強：當系統(tǒng)需要更高的數(shù)據(jù)庫處理速度時，只需減少數(shù)據(jù)庫服務器即可進行擴展。

(2) 可維護性：當一個節(jié)點發(fā)生故障時，系統(tǒng)會手動檢查故障并轉移故障節(jié)點的應用程序，以保證數(shù)據(jù)庫的持續(xù)運行。

(3)安全性：由于數(shù)據(jù)在多臺服務器上同步，可以實現(xiàn)數(shù)據(jù)冗余，保證數(shù)據(jù)安全，數(shù)據(jù)庫可以順??利加載到內(nèi)網(wǎng)，更好的保護數(shù)據(jù)庫的安全。

(4)易用性：對應用程序完全透明服務器運維技術，集群暴露在IP上。

(1) 不能根據(jù)Web服務器的處理能力來分配負載。

(2) 負載均衡器（控制端）出現(xiàn)故障會導致整個數(shù)據(jù)庫系統(tǒng)癱瘓。

二.數(shù)據(jù)庫與讀寫分離

1、實現(xiàn)原理：讀寫分離，簡單的說，一個單獨的數(shù)據(jù)庫讀寫不同的數(shù)據(jù)庫服務器操作，可以有效的降低數(shù)據(jù)庫的壓力，降低IO壓力。 數(shù)據(jù)庫主要提供寫操作，從數(shù)據(jù)庫讀操作，實際上在很多系統(tǒng)中，主要是讀操作。 主庫寫入時，數(shù)據(jù)同步到從庫，可以有效保證數(shù)據(jù)庫的完整性。

（eBay的讀寫比例為260:1，eBay的讀寫分離）

（谷歌數(shù)據(jù)庫分布）

方法： 2、MSSQL服務器可以使用數(shù)據(jù)庫復制和發(fā)布的定義來實現(xiàn)讀寫分離。 復制是從一個數(shù)據(jù)源的多個數(shù)據(jù)源復制一組數(shù)據(jù)并發(fā)布到網(wǎng)站上一個有效數(shù)據(jù)類型的多個存儲，利用復制技術，用戶可以確保發(fā)布在多個服務器上的數(shù)據(jù)副本被手動同步和更新，并分布在不同的位置，從而保證數(shù)據(jù)的一致性。 SQL復制技術分為快照復制、事務復制和合并三種。 SQL 主要用于由發(fā)布和訂閱服務處理的復制。 源數(shù)據(jù)所在的版本號是發(fā)布者，負責發(fā)布數(shù)據(jù)。 包含一個分發(fā)數(shù)據(jù)庫，??該數(shù)據(jù)庫接收對數(shù)據(jù)的所有修改并在將它們分發(fā)給訂閱者之前保存它們。

3.優(yōu)點和缺點

(1)數(shù)據(jù)實時性差：數(shù)據(jù)與自讀服務器不同步。 當數(shù)據(jù)寫入后，數(shù)據(jù)會被同步，下次再查詢。

(2)數(shù)據(jù)量大時，同步效率不高：當單表數(shù)據(jù)由于索引、磁盤IO等問題難以插入和更新時，性能會特別差。

（3）同時連接多個（至少兩個）數(shù)據(jù)庫：連接至少兩個數(shù)據(jù)數(shù)據(jù)庫，實際的讀寫操作在程序代碼中完成，容易造成混淆。

(4) 高性能、高可靠性和可擴展性 讀：只讀服務器，由于沒有寫操作，會大大降低c盤的IO性能，大大提高工作效率； 只讀服務器可以使用負載均衡，主數(shù)據(jù)庫釋放讀操作到多個只讀服務器的可伸縮性。

三、數(shù)據(jù)庫/數(shù)據(jù)表拆分（分布式）

在一定條件下，多個數(shù)據(jù)庫存儲的數(shù)據(jù)會被存儲在多個數(shù)據(jù)庫中，同一個數(shù)據(jù)庫會分布式存儲，訪問特定的數(shù)據(jù)庫會通過路由規(guī)則進行路由，這樣每次訪問的臉都不是一個單臺服務器，服務器數(shù)量增加可以增加單機的負載壓力。 提示：2005版本以后，表分區(qū)可以支持友好性。

（垂直）解析：指功能模塊（如訂單存儲、商品存儲、用戶存儲等）的拆分，使得多個數(shù)據(jù)庫之間的表結構不同。

橫向（??ntal）拆分：將同一張表中的數(shù)據(jù)定義到不同的數(shù)據(jù)庫中，這個數(shù)據(jù)庫中的表結構是完全一樣的。

（橫向拆裝）

（水平拆裝）

1、實現(xiàn)原則：垂直碼率的使用主要看應用類型的分段方式是否合適。 例如系統(tǒng)可以分為單體系統(tǒng)、商品管理系統(tǒng)、客戶管理系統(tǒng)。 大清的業(yè)務系統(tǒng)，縱碼率可以很好的起到將數(shù)據(jù)庫角色的壓力分散到業(yè)務模塊的作用。 不清楚，耦合度（表相關性）高的系統(tǒng)不適合用這種切分方式。但是垂直切分的方式并不能解決壓力等所有問題。 5000w的訂單，訂單群的運營壓力一直很高。 如果我們需要在這張表中減少（插入），那就是新的數(shù)據(jù)插入。 建庫完成后，就可以為表建立索引了。 反之，5000w指標體系成本數(shù)據(jù)的提升也不容忽視。 如果我們把表分成100張表，數(shù)據(jù)從到平均到每個子表，每個子表上只有行數(shù)據(jù)，所以我們只有50W索引中的一行數(shù)據(jù)插入數(shù)據(jù)表格會顯示增長率，增強數(shù)據(jù)庫的運行效率，增強數(shù)據(jù)庫的并發(fā)，水平劃分幀率

2.實現(xiàn)方式：垂直拆分，拆分方式實現(xiàn)起來比較簡單，根據(jù)表名訪問不同的數(shù)據(jù)庫即可。 這是上面的一些要點。

(1)幀率：比如購買前三天，一年分為、等。 其實也可以按照關鍵標準來打分。

優(yōu)點：部分遷移

缺點：數(shù)據(jù)分布不均，2003年的訂單可能是100W，2008年是500W。

(2)：Hash散列(或者類型如果value也可以直接)，然后使用具體的數(shù)字，比如數(shù)據(jù)庫應用需要切分成4個數(shù)據(jù)庫，我們使用4號的hash值運算，這是%4，每次操作后會有四種可能的結果：1，當2對應DB1的結果時； 結果為3時，對應DB2； 當結果為0時，對應DB3； db4，非常均勻地將數(shù)據(jù)分布到4 dB。

優(yōu)點：均勻分布的數(shù)據(jù)

缺點：數(shù)據(jù)遷移麻煩； 數(shù)據(jù)不能根據(jù)機器性能攤銷。

(3) 保存認證庫中的數(shù)據(jù)庫配置

它正在建立一個數(shù)據(jù)庫。 數(shù)據(jù)庫維護來自DB的映射關系。 我們每次訪問數(shù)據(jù)庫，首先需要查詢數(shù)據(jù)庫，獲取具體的數(shù)據(jù)庫信息，然后才能進行我們需要的查詢操作。

優(yōu)點：彈性強，一對一關系

缺點：每次查詢前多查詢一次，會造成一定的性能損失。